SchemaValid
ENDE

Robots.txt Generator

Erstelle eine gültige robots.txt mit visuellem Editor und Live-Vorschau. Dieser kostenlose robots.txt Generator steuert Crawler-Regeln, AI-Bot-Zugriff und deine Sitemap — und alles läuft in deinem Browser.

Mit Vorlage starten

Crawler-Regeln

Sekunden zwischen Anfragen. Google ignoriert Crawl-delay; Bing und Yandex beachten es.

AI-Crawler

Wähle einen Modus, dann die Bots. Blockieren hält deinen Content aus KI-Training und -Antworten (IP-Schutz), Erlauben macht dich in KI-Antworten zitierbar (AEO-Sichtbarkeit).

Eigene / erweiterte Direktiven

Alles hier wird unverändert übernommen, auch Kommentarzeilen mit #. Nutze es für Direktiven, die das Formular nicht abdeckt.

Live-Vorschau

User-agent: *
Disallow:
Tipp: Ergänze deine Sitemap-URL, damit Crawler alle Seiten schneller finden.
Alles läuft lokal in deinem Browser. Die eingegebenen Regeln und URLs werden nie hochgeladen, gespeichert oder mit einem Konto verknüpft.

robots.txt schon online? Mit dem Robots.txt Tester prüfen →

robots.txt steuert Crawling, nicht Indexierung

Ein verbreiteter Irrtum: Disallow entferne eine Seite aus Google. Tut es nicht. robots.txt bittet Crawler nur, eine URL nicht abzurufen — eine blockierte URL kann trotzdem indexiert werden, wenn andere Seiten darauf verlinken, meist ohne Beschreibung, weil der Crawler sie nie gelesen hat.

Um eine Seite aus dem Index zu halten, lass sie crawlen und ergänze stattdessen ein noindex-Meta-Tag (oder einen X-Robots-Tag-Header). Sperrst du sie in der robots.txt, sieht Google dieses noindex gar nicht — beide Techniken gehören also nicht auf dieselbe Seite.

Wo die Datei liegt und wie Pfade funktionieren

Die Datei muss robots.txt heißen und im Root deiner Domain liegen — example.com/robots.txt, nicht in einem Unterordner. Jeder Regelsatz beginnt mit einer User-agent-Zeile, gefolgt von Disallow- und Allow-Pfaden. Pfade sind case-sensitive: /Ordner/ und /ordner/ sind verschieden.

Blockiere nicht dein CSS oder JavaScript: Google rendert Seiten wie ein Browser und braucht diese Dateien, um Layout und Inhalt zu beurteilen. Halte robots.txt für wirklich private oder wenig wertvolle Bereiche frei, und denk daran: Es ist eine öffentliche Datei, die jeder unter deine-domain.de/robots.txt lesen kann.

Die vollständige Spezifikation steht in Googles Einführung zu robots.txt: Google Search Central – robots.txt-Einführung.

Häufig gestellte Fragen

Was ist eine robots.txt-Datei?
Eine reine Textdatei im Root deiner Seite, die Web-Crawlern sagt, welche Bereiche sie abrufen dürfen und welche nicht. Sie nutzt einfache User-agent-, Disallow- und Allow-Zeilen. Es ist eine Bitte, der sich gut erzogene Crawler beugen — keine Sicherheitsmaßnahme, und niemand ist gezwungen, sie zu befolgen.
Verhindert robots.txt die Indexierung einer Seite?
Nein. robots.txt steuert das Crawling, nicht die Indexierung. Eine gesperrte URL kann trotzdem in den Suchergebnissen erscheinen, wenn andere Seiten darauf verlinken — meist ohne Beschreibung. Um eine Seite aus dem Index zu halten, erlaube das Crawling und nutze stattdessen ein noindex-Meta-Tag oder einen X-Robots-Tag-Header.
Was ist der Unterschied zwischen Disallow und noindex?
Disallow (in robots.txt) bittet Crawler, eine URL nicht abzurufen. noindex (ein Meta-Tag oder Header auf der Seite) sagt ihnen, sie nicht im Index zu behalten. Sperrst du eine Seite per Disallow, sieht der Crawler ihr noindex nie — für zuverlässige Entfernung aus der Suche also noindex nutzen und die Seite crawlbar lassen.
Sollte ich AI-Bots blockieren oder erlauben?
Kommt auf dein Ziel an. Blockieren (GPTBot, ClaudeBot, CCBot und andere) hält deinen Content aus KI-Training und -Antworten heraus — sinnvoll, wenn der Content dein Produkt ist. Erlauben lässt deine Marke in KI-Antworten zitieren und nennen, die aufkommende AEO/GEO-Chance. Dieses Tool macht beides zum Ein-Klick-Schalter, damit du je Seite entscheiden kannst.
Was ist Crawl-delay und beachtet Google es?
Crawl-delay bittet einen Crawler, eine bestimmte Sekundenzahl zwischen Anfragen zu warten. Google unterstützt es gar nicht — die Crawl-Rate stellst du dort in der Search Console ein. Bing und Yandex beachten es. Es lohnt nur für die Crawler, die es tatsächlich lesen.
Wo muss die robots.txt-Datei liegen?
Ganz im Root deiner Domain, erreichbar unter example.com/robots.txt. Sie gilt nur für den Host und das Protokoll, auf dem sie liegt — eine eigene Subdomain wie shop.example.com braucht ihre eigene robots.txt. In einem Unterordner funktioniert sie nicht.
Sollte ich CSS oder JavaScript blockieren?
Nein. Google rendert deine Seiten wie ein Browser und braucht CSS und JavaScript, um Layout, Inhalt und Mobiltauglichkeit zu verstehen. Diese Dateien zu sperren kann der Bewertung deiner Seiten schaden. Halte robots.txt auf wirklich private oder doppelte Bereiche fokussiert.
Was ist der Unterschied zwischen robots.txt und XML-Sitemap?
Sie ergänzen sich. robots.txt sagt Crawlern, wohin sie nicht sollen; eine XML-Sitemap listet die URLs, die du gecrawlt und indexiert haben willst. Eine Sitemap-Zeile in der robots.txt verweist Crawler einfach auf diese Liste — dieses Tool kann sie für dich ergänzen.

Verwandte Tools

Robots.txt Tester

robots.txt prüfen und validieren: URL-Zugriff je Crawler testen, AI-Bot-Status, Syntax-Warnungen. Kostenlos.

KI-Suchbereitschafts-Checker

Prüfe, wie bereit deine Seite für ChatGPT, Perplexity und AI Overviews ist.

llms.txt-Generator

Erzeuge aus jeder URL eine fertige llms.txt für deine Website.

SERP Snippet Preview

Zeige deine Google-Vorschau und prüfe die Pixelbreite von Titel & Beschreibung.

Schema.org Validator

Prüfe eine live URL oder JSON-LD-Code: SEO-Score, Fehler, Warnungen und Rich-Results-Bereitschaft.

IBAN-Validator

Prüfe sofort und kostenlos, ob eine IBAN gültig ist.