SchemaValid
ENDE

Robots.txt Tester

Teste und prüfe deine robots.txt in Sekunden. Dieser kostenlose robots.txt Tester ruft eine Live-Datei ab oder prüft eingefügten Inhalt, zeigt ob eine URL für einen Crawler erlaubt oder blockiert ist, und findet typische Fehler — das Matching läuft in deinem Browser.

Der Einfüge-Modus läuft vollständig in deinem Browser. Im URL-Modus ruft unser Server nur die Datei /robots.txt an der Domain-Wurzel ab — nichts wird gespeichert oder mit einem Konto verknüpft.

Wie der URL-Test funktioniert

Der Test folgt dem Robots Exclusion Protocol (RFC 9309), demselben Standard, den Googles Crawler nutzen. Für einen Crawler gilt nur EINE Gruppe: die mit dem spezifischsten passenden User-agent, ersatzweise die Wildcard-Gruppe *. Ein Crawler mit eigener Gruppe ignoriert die *-Regeln vollständig.

Innerhalb dieser Gruppe gewinnt das längste passende Pfad-Pattern — nicht das zuerst genannte. Deshalb kann ein breites Disallow: / durch ein spezifischeres Allow: /blog/ überschrieben werden. Das Tool unterstützt die zwei Wildcards des Standards: * für beliebige Zeichenfolgen und $ zum Verankern des Pfad-Endes.

Blockiert heißt nicht aus Google entfernt

Ist eine URL hier blockiert, rufen Crawler sie nicht ab — sie kann aber trotzdem in den Suchergebnissen erscheinen, wenn andere Seiten darauf verlinken, meist ohne Beschreibung. robots.txt steuert das Crawling, nicht die Indexierung. Um eine Seite aus dem Index zu entfernen, erlaube das Crawling und ergänze stattdessen ein noindex-Meta-Tag.

Die vollständige Spezifikation steht in Googles robots.txt-Dokumentation: Google Search Central – robots.txt-Einführung.

Häufig gestellte Fragen

Wie teste ich meine robots.txt?
Gib deine Domain ein, um die Live-Datei abzurufen, oder füge deine robots.txt direkt ein. Das Tool zeigt die geparsten Regeln, meldet Syntax-Probleme und lässt dich eine beliebige URL plus Crawler eingeben, um zu sehen, ob sie erlaubt oder blockiert ist — und welche Regel genau entscheidet.
Warum wird eine wichtige Seite blockiert?
Meist erfasst ein zu breites Disallow-Pattern mehr als beabsichtigt. Nutze den URL-Test mit dem betroffenen Pfad, um zu sehen, welche Regel greift. Oft ist die Lösung eine spezifischere Allow-Regel, die gewinnt, weil das längste passende Pattern Vorrang hat.
Was ist der Unterschied zwischen blockiert und nicht indexiert?
Blockiert (in der robots.txt) heißt, Crawler sollen die URL nicht abrufen. Nicht indexiert heißt, sie erscheint nicht in den Suchergebnissen. Eine blockierte Seite kann trotzdem indexiert werden, wenn sie verlinkt ist. Für zuverlässige Entfernung das Crawling erlauben und ein noindex-Meta-Tag nutzen.
Was bedeutet "longest match wins"?
Wenn mehrere Allow- und Disallow-Regeln auf eine URL passen, entscheidet die Regel mit dem längsten Pfad-Pattern — nicht die Reihenfolge. Sind zwei passende Regeln gleich lang, gewinnt Allow. Das ist die Kernregel des Robots Exclusion Protocol, und genau das setzt dieser Tester um.
Wie prüfe ich, ob GPTBot oder ClaudeBot Zugriff hat?
Das AI-Crawler-Panel zeigt für jeden bekannten AI-Bot, ob die Startseite laut der geprüften robots.txt erlaubt oder blockiert ist. Du kannst im URL-Test auch einen bestimmten Bot wählen, um einen einzelnen Pfad zu prüfen.
Warum ignoriert Google Crawl-delay?
Google hat die Crawl-delay-Direktive nie unterstützt. Bing und Yandex beachten sie, aber für Google steuerst du die Crawl-Rate über die Search Console. Der Tester weist auf ein Crawl-delay hin, das Google oder alle Crawler betrifft, damit du dich nicht auf etwas verlässt, das Google überspringt.
Wo muss die robots.txt liegen?
Im Root des Hosts: example.com/robots.txt. Sie gilt nur für genau diesen Host und dieses Protokoll, also braucht eine Subdomain wie shop.example.com ihre eigene Datei. Eine robots.txt in einem Unterordner hat keine Wirkung. Dieses Tool ruft immer die Root-Datei ab.
Warum sehe ich eine andere robots.txt als erwartet?
Häufige Gründe sind Caching (CDNs und Browser cachen die robots.txt), eine Weiterleitung auf einen anderen Host oder eine versehentlich deployte Staging-Datei. Der Tester zeigt die finale URL, die er nach Weiterleitungen abgerufen hat — so erkennst du, wenn die ausgelieferte Datei nicht die ist, die du bearbeitet hast.

Verwandte Tools

Robots.txt Generator

robots.txt erstellen und prüfen mit Live-Vorschau — Crawler-Regeln, AI-Bot-Steuerung, Sitemap. Kostenlos.

KI-Suchbereitschafts-Checker

Prüfe, wie bereit deine Seite für ChatGPT, Perplexity und AI Overviews ist.

llms.txt-Generator

Erzeuge aus jeder URL eine fertige llms.txt für deine Website.

SERP Snippet Preview

Zeige deine Google-Vorschau und prüfe die Pixelbreite von Titel & Beschreibung.

Schema.org Validator

Prüfe eine live URL oder JSON-LD-Code: SEO-Score, Fehler, Warnungen und Rich-Results-Bereitschaft.

IBAN-Validator

Prüfe sofort und kostenlos, ob eine IBAN gültig ist.