robots.txt-Tester für Suchbots und KI-Crawler

Mit dem robots.txt-Tester prüfst Du, ob Deine Regeln einem bestimmten Bot den Abruf einer URL erlauben.

Die Auswertung läuft lokal im Browser auf Grundlage von RFC 9309, mit einer offen einsehbaren Testfallsammlung. Deine Eingaben werden nicht übertragen.

robots.txt prüfen: Welche URL darf welcher Bot abrufen?

Füge den Inhalt Deiner robots.txt ein, trage die zu prüfende URL oder einen Pfad ein und wähle den Bot aus. Über „Prüfen“ erhältst Du das Ergebnis mit der entscheidenden Regel und ihrer Zeilennummer.

Inhalt der robots.txt# Beispiel: Trainingsbots sperren, Suche erlauben User-agent: GPTBot User-agent: ClaudeBot Disallow: / User-agent: OAI-SearchBot Allow: / User-agent: * Disallow: /intern/ Allow: /intern/oeffentlich/ Sitemap: https://example.de/sitemap.xml

Zu prüfende URL oder Pfad

BotGPTBot (Trainingsabruf)ClaudeBot (Trainingsabruf)PerplexityBot (Indexabruf)Google-Extended (Steuer-Token ohne eigenen Bot)Amazonbot, Amazon (Trainingsabruf)Amzn-SearchBot, Amazon (Suchabruf)Amzn-User, Amazon (Nutzerabruf)Applebot, Apple (Suchabruf)Applebot-Extended, Apple (Steuer-Token ohne eigenen Bot)Bingbot, Microsoft (Suchabruf)Bytespider, ByteDance (Trainingsabruf)CCBot, Common Crawl (Indexabruf)ChatGPT-User, OpenAI (Nutzerabruf)Claude-SearchBot, Anthropic (Suchabruf)Claude-User, Anthropic (Nutzerabruf)DuckAssistBot, DuckDuckGo (Suchabruf)Googlebot, Google (Suchabruf)Meta-ExternalAgent, Meta (Trainingsabruf)meta-externalfetcher, Meta (Nutzerabruf)OAI-AdsBot, OpenAI (sonstiges)OAI-SearchBot, OpenAI (Suchabruf)Perplexity-User, Perplexity (Nutzerabruf)Eigenen Token eingeben …

Antwort des Servers auf /robots.txt200, Datei liegt vor (Standard)404, Datei fehlt403, Zugriff verweigert503, Serverfehler

PrüfenLäuft lokal im Browser. Es wird nichts übertragen.

Die Auswahl „Antwort des Servers auf /robots.txt“ bezieht sich auf die robots.txt-Datei, nicht auf die geprüfte Inhaltsseite. Der Tester ruft Deine Website nicht ab. Den Status musst Du deshalb selbst auswählen; voreingestellt ist eine vorhandene Datei mit Status 200.

Wie liest Du das Ergebnis?

„Erlaubt“ bedeutet, dass die ausgewerteten Regeln den Abruf zulassen. Bei „Gesperrt“ spricht eine Regel oder der ausgewählte Fehlerstatus dagegen. Das Ergebnis beschreibt die Auswertung Deiner Eingaben. Ob ein Bot die Seite tatsächlich abruft oder Dein Server ihn abweist, wird damit nicht geprüft.

Angenommen Deine Datei enthält diese drei Zeilen:

User-agent: GPTBot
Disallow: /intern/
Allow: /intern/oeffentlich/

Für /intern/oeffentlich/bericht/ zeigt der Tester „Erlaubt“. Beide Pfadmuster passen, aber die Ausnahme in Zeile 3 ist spezifischer. Dieses Prinzip heißt Longest-Match: Innerhalb der passenden Gruppe entscheidet das längste passende Muster. Bei gleich langen widersprüchlichen Regeln gibt der Tester Allow den Vorrang. Maßgeblich ist RFC 9309, Abschnitt 2.2.2.

Die markierte Gruppe zeigt Dir außerdem, welche User-agent-Zeilen für die Auswertung verwendet wurden. Lies auch die Hinweise unter dem Ergebnis. Eine erkannte Besonderheit kann für die Übertragung auf Deinen konkreten Bot entscheidend sein.

Welche Bots sind voreingestellt und welche Tokens gelten?

GPTBot, ClaudeBot, PerplexityBot und Google-Extended stehen in der Auswahl unter „Voreinstellungen“. Weitere Einträge sind unter anderem Googlebot, Bingbot, OAI-SearchBot und die Nutzerabrufe von ChatGPT, Claude und Perplexity. Über „Eigenen Token eingeben“ kannst Du weitere Kennungen prüfen.

Der Token ist der Name, den Du hinter User-agent: einträgst, beispielsweise GPTBot. Dafür brauchst Du nicht die vollständige Kennung mit Browserangaben und Versionsnummer aus Deinem Zugriffslog.

Token	Bot	Betreiber	Abrufart	beachtet robots.txt (dokumentiert)	Steckbrief
ClaudeBot · voreingestellt	ClaudeBot	Anthropic	Trainingsabruf	ja	ClaudeBot
Google-Extended · voreingestellt	Google-Extended	Google	Steuer-Token ohne eigenen Bot	ja	Google-Extended
GPTBot · voreingestellt	GPTBot	OpenAI	Trainingsabruf	ja	GPTBot
PerplexityBot · voreingestellt	PerplexityBot	Perplexity	Indexabruf	ja	PerplexityBot
Amazonbot	Amazonbot	Amazon	Trainingsabruf	ja	Amazonbot
Amzn-SearchBot	Amzn-SearchBot	Amazon	Suchabruf	siehe Referenz	Referenztabelle
Amzn-User	Amzn-User	Amazon	Nutzerabruf	siehe Referenz	Referenztabelle
Applebot	Applebot	Apple	Suchabruf	siehe Referenz	Referenztabelle
Applebot-Extended	Applebot-Extended	Apple	Steuer-Token ohne eigenen Bot	ja	Applebot-Extended
Bingbot	Bingbot	Microsoft	Suchabruf	siehe Referenz	Referenztabelle
Bytespider	Bytespider	ByteDance	Trainingsabruf	nicht dokumentiert	Bytespider
CCBot	CCBot	Common Crawl	Indexabruf	ja	CCBot
ChatGPT-User	ChatGPT-User	OpenAI	Nutzerabruf	eingeschränkt	ChatGPT-User
Claude-SearchBot	Claude-SearchBot	Anthropic	Suchabruf	ja	Claude-SearchBot
Claude-User	Claude-User	Anthropic	Nutzerabruf	ja	Claude-User
DuckAssistBot	DuckAssistBot	DuckDuckGo	Suchabruf	siehe Referenz	Referenztabelle
Googlebot	Googlebot	Google	Suchabruf	siehe Referenz	Referenztabelle
meta-externalagent	Meta-ExternalAgent	Meta	Trainingsabruf	ja	Meta-ExternalAgent
meta-externalfetcher	meta-externalfetcher	Meta	Nutzerabruf	siehe Referenz	Referenztabelle
OAI-AdsBot	OAI-AdsBot	OpenAI	sonstiges	siehe Referenz	Referenztabelle
OAI-SearchBot	OAI-SearchBot	OpenAI	Suchabruf	ja	OAI-SearchBot
Perplexity-User	Perplexity-User	Perplexity	Nutzerabruf	nein	Perplexity-User

Die Abrufart ist dabei mehr als eine zusätzliche Beschreibung. OpenAI unterscheidet beispielsweise zwischen GPTBot für mögliche Trainingsdaten, OAI-SearchBot für die Suche und ChatGPT-User für bestimmte Nutzeraktionen. Eine Regel für GPTBot ist deshalb keine gemeinsame Einstellung für alle drei. Diese Trennung ist in der OpenAI-Botdokumentation beschrieben.

Google-Extended ist ein Sonderfall: Der Token steuert bestimmte Verwendungen bereits abgerufener Inhalte, besitzt aber keinen eigenen HTTP-User-Agent. Ein Testergebnis für Google-Extended beschreibt deshalb die Zuordnung Deiner Regel zu diesem Steuerungstoken. Es sagt nicht, ob Googlebot eine URL abrufen darf. Google erläutert diese Abgrenzung in der Dokumentation zu Google-Extended.

Die Tabelle aller Abrufarten hilft Dir, Suche, Training, Nutzerabrufe und reine Steuerungstokens auseinanderzuhalten.

6 Ursachen, warum eine Regel nicht wie erwartet wirkt

1. Die Regel steht in der falschen Gruppe.
   Hat ein Bot eine eigene passende Gruppe, werden die Regeln aus User-agent: * nicht zusätzlich übernommen. Mehrere Gruppen für denselben Token werden dagegen zusammengeführt.
2. Eine spezifischere Regel entscheidet.
   Ein allgemeines Disallow: /intern/ kann durch eine längere passende Allow-Regel überstimmt werden. Die Reihenfolge der beiden Zeilen entscheidet diesen Konflikt nicht.
3. Das Pfadmuster erfasst andere URLs als gedacht.
   * steht für beliebig viele Zeichen, auch für keines. $ am Musterende begrenzt den Treffer. Disallow: /bericht$ erfasst deshalb /bericht, aber nicht /bericht/.
4. Die Schreibweise des Pfads unterscheidet sich.
   /Archiv/ und /archiv/ werden getrennt verglichen. Ein anders geschriebener Verzeichnisname kann erklären, weshalb Deine Regel nicht passt.
5. Die Prozentkodierung verändert den Vergleich.
   /datei%2Fname wird nicht einfach wie /datei/name behandelt. Bei unreservierten Zeichen, etwa %62 für b, erfolgt dagegen eine Normalisierung.
6. Die verwendete Direktive steuert keine Abrufberechtigung.
   Crawl-delay ist nicht Teil von RFC 9309. Auch eine Sitemap-Zeile erlaubt oder verbietet keinen Pfad.

Die Grundlagen stehen in RFC 9309, Abschnitte 2.2.1 bis 2.2.4. Dass Crawl-delay außerhalb des Standards liegt, bedeutet übrigens nicht, dass jeder Betreiber die Direktive ignoriert: Anthropic dokumentiert ihre Unterstützung. Der Tester verwendet sie jedoch nicht für seine Entscheidung „Erlaubt“ oder „Gesperrt“.

Welche Testfälle liegen dem Werkzeug zugrunde?

Die Sammlung umfasst derzeit 30 Testfälle. Für jeden Fall stehen Eingabe, Bot, URL, Erwartungswert und der zugehörige RFC-Abschnitt neben dem Ergebnis des Werkzeugs. Die Prüfung vom 8. September 2026 besteht alle 30 Fälle.

30 Testfälle mit Erwartungswert und RFC-Abschnitt (30 von 30 bestanden, Stand 08.09.2026)

Die Sammlung liegt offen im Repository des Wikis (src/data/robots-testfaelle.json). Die Spalte „Ergebnis“ entsteht beim Erzeugen dieser Seite durch Ausführen des Testers.

Fall	robots.txt	Bot · URL	Erwartung	RFC 9309	Ergebnis
Longest-Match: längeres Allow schlägt kürzeres Disallow Das Muster mit den meisten Zeichen entscheidet, nicht die Reihenfolge in der Datei.	User-agent: * Disallow: /a Allow: /a/b	GPTBot /a/b/c	erlaubt (Zeile 3)	2.2.2	bestanden
$-Anker: Muster gilt nur am URL-Ende $ markiert das Ende des Pfads. Ohne $ würde auch /datei.pdfx passen.	User-agent: * Disallow: /*.pdf$	ClaudeBot /downloads/datei.pdf	gesperrt (Zeile 2)	2.2.3	bestanden
$-Anker: mit Query passt das Muster nicht mehr Geprüft wird Pfad plus Query. Die URL endet nicht auf .pdf, das $-Muster greift nicht.	User-agent: * Disallow: /*.pdf$	ClaudeBot /downloads/datei.pdf?download=1	erlaubt	2.2.3	bestanden
*-Wildcard in der Mitte des Musters * steht für eine beliebige Zeichenfolge, auch für mehrere Pfadsegmente.	User-agent: * Disallow: /*/privat	PerplexityBot /kunden/privat/rechnung	gesperrt (Zeile 2)	2.2.3	bestanden
Leeres Disallow sperrt nichts Ein leeres Muster hat keine Wirkung. „Disallow:“ ohne Wert erlaubt alles, häufig mit „Disallow: /“ verwechselt.	User-agent: GPTBot Disallow:	GPTBot /	erlaubt	2.2.2	bestanden
Gruppe mit mehreren User-agent-Zeilen Aufeinanderfolgende User-agent-Zeilen bilden eine Gruppe; die Regeln gelten für alle genannten Tokens.	User-agent: GPTBot User-agent: ClaudeBot Disallow: /	ClaudeBot /artikel/	gesperrt (Zeile 3)	2.2.1	bestanden
Pfade unterscheiden Groß- und Kleinschreibung /Admin und /admin sind verschiedene Pfade. Nur Schlüsselwörter und Tokens sind schreibungsunabhängig.	User-agent: * Disallow: /Admin	Googlebot /admin	erlaubt	2.2.2	bestanden
Tokens sind schreibungsunabhängig „gptbot“ in der Datei gilt für den Bot mit Token „GPTBot“.	User-agent: gptbot Disallow: /	GPTBot /	gesperrt (Zeile 2)	2.2.1	bestanden
Prozentkodierung: /caf%C3%A9 und /café sind derselbe Pfad Nicht-ASCII-Zeichen werden vor dem Vergleich prozentkodiert; die Hex-Schreibweise spielt keine Rolle.	User-agent: * Disallow: /caf%C3%A9	Bingbot /café	gesperrt (Zeile 2)	2.2.3	bestanden
Sitemap-Zeile ändert keine Regel Sitemap ist eine eigenständige Zeile außerhalb der Gruppen. Sie wird erkannt, hat aber keinen Einfluss auf Allow oder Disallow.	User-agent: * Allow: / Sitemap: https://example.de/sitemap.xml	OAI-SearchBot /seite/	erlaubt (Zeile 2)	2.2.4	bestanden
Crawl-delay ist nicht Teil von RFC 9309 Die Zeile wird als unbekannte Direktive gemeldet; sie sperrt nichts und unterbricht die Gruppe nicht.	User-agent: * Crawl-delay: 10 Disallow: /intern/	GPTBot /artikel/	erlaubt	2.2.4	bestanden
Fehlende Datei (404): alles erlaubt Antwortet der Server mit 4xx, gilt die Datei als nicht vorhanden. Der Bot darf alles abrufen.	(leer) HTTP 404	GPTBot /irgendwo/	erlaubt	2.3.1.3	bestanden
Serverfehler (503): alles gesperrt Bei 5xx muss der Bot annehmen, dass die Website vollständig gesperrt ist, auch wenn der Dateiinhalt alles erlauben würde.	User-agent: * Allow: / HTTP 503	Googlebot /	gesperrt	2.3.1.4	bestanden
Kommentare werden ignoriert, auch am Zeilenende Alles ab # bis zum Zeilenende ist Kommentar. Das Muster ist „/a“, nicht „/a # kein Training“.	# Sperre für Trainingsbots User-agent: GPTBot # OpenAI Disallow: /a # kein Training	GPTBot /a	gesperrt (Zeile 3)	2.1	bestanden
Allow und Disallow gleicher Länge: Allow gewinnt Bei Gleichstand gilt die weniger einschränkende Regel.	User-agent: * Disallow: /seite Allow: /seite	ClaudeBot /seite	erlaubt (Zeile 3)	2.2.2	bestanden
Token-Präfix: Gruppe „Googlebot“ für „Googlebot-Image“ (Google-Auslegung) RFC 9309 kennt nur den exakten Token-Vergleich. Google wendet für seine Bot-Familie die Gruppe des kürzeren Tokens an; der Tester zeigt das als Auslegung mit Warnung.	User-agent: Googlebot Disallow: /bilder/ User-agent: * Allow: /	Googlebot-Image /bilder/foto.jpg	gesperrt (Zeile 2)	2.2.1	bestanden
*-Gruppe als Fallback für nicht genannte Bots Bingbot hat keine eigene Gruppe und folgt der *-Gruppe.	User-agent: GPTBot Allow: / User-agent: * Disallow: /intern/	Bingbot /intern/bericht	gesperrt (Zeile 5)	2.2.1	bestanden
Eigene Gruppe ersetzt die *-Gruppe vollständig Passt eine Gruppe exakt, werden die Regeln der *-Gruppe nicht zusätzlich angewendet. Häufiger Fehler: die Sperre steht nur unter *.	User-agent: GPTBot Allow: / User-agent: * Disallow: /intern/	GPTBot /intern/bericht	erlaubt (Zeile 2)	2.2.1	bestanden
Zwei Gruppen für dasselbe Token werden zusammengeführt Nennt die Datei ein Token mehrfach, gelten alle seine Regeln gemeinsam. Bots, die nur die erste Gruppe lesen, verhalten sich anders; der Tester warnt.	User-agent: GPTBot Disallow: /a/ User-agent: * Allow: / User-agent: GPTBot Disallow: /b/	GPTBot /b/seite	gesperrt (Zeile 8)	2.2.1	bestanden
Query-Teil gehört zum geprüften Pfad Aus einer vollständigen URL werden Pfad und Query geprüft, der Host nicht.	User-agent: * Disallow: /*?druck	GPTBot https://example.de/artikel/seo?druck=1	gesperrt (Zeile 2)	2.2.2	bestanden
/robots.txt selbst ist immer abrufbar Sonst könnte kein Bot die Regeln lesen.	User-agent: * Disallow: /	GPTBot /robots.txt	erlaubt	2.3	bestanden
Regel vor der ersten User-agent-Zeile ist wirkungslos Allow und Disallow gehören immer zu einer Gruppe. Die erste Zeile wird ignoriert und als Fehler gemeldet.	Disallow: / User-agent: * Allow: /	GPTBot /	erlaubt (Zeile 3)	2.2.1	bestanden
Prozentkodierung: %70 ist dasselbe Zeichen wie „p“ Prozentkodierte unreservierte Zeichen (Buchstaben, Ziffern, „-“, „.“, „_“, „~“) werden vor dem Vergleich dekodiert. /%70rivate und /private sind derselbe Pfad; das Umschreiben einzelner Zeichen umgeht die Sperre nicht.	User-agent: * Disallow: /private	GPTBot /%70rivate	gesperrt (Zeile 2)	2.2.2	bestanden
Prozentkodierung: %2F bleibt kodiert und ist kein „/“ Reservierte Zeichen bleiben in kodierter Form stehen. /a%2Fb ist ein einzelnes Pfadsegment und damit ein anderer Pfad als /a/b; das Muster passt nicht.	User-agent: * Disallow: /a/b	GPTBot /a%2Fb	erlaubt	2.2.2	bestanden
Fragment gehört nicht zum geprüften Pfad Alles ab „#“ ist ein Fragment und wird nicht an den Server geschickt. Geprüft wird „/private“; das $-Muster greift trotz des Anhangs.	User-agent: * Disallow: /private$	ClaudeBot /private#abschnitt	gesperrt (Zeile 2)	2.2.2	bestanden
Sitemap-Zeile trennt zwei User-agent-Zeilen nicht Die Sitemap-Zeile gehört zu keiner Gruppe und beendet auch keine. Beide User-agent-Zeilen bilden weiter eine Gruppe, die Sperre gilt auch für GPTBot. Googles Referenz-Parser google/robotstxt verhält sich gleich: „HandleSitemap“ ist dort leer.	User-agent: GPTBot Sitemap: https://example.de/sitemap.xml User-agent: ClaudeBot Disallow: /	GPTBot /privat	gesperrt (Zeile 4)	2.2.1	bestanden
Unbekannte Direktive trennt zwei User-agent-Zeilen nicht Auch eine nicht standardisierte Zeile wie Crawl-delay unterbricht die Folge der User-agent-Zeilen nicht. Die Sperre gilt für beide Tokens. Googles Referenz-Parser verhält sich gleich: „HandleUnknownAction“ ist dort leer.	User-agent: GPTBot Crawl-delay: 5 User-agent: ClaudeBot Disallow: /	GPTBot /privat	gesperrt (Zeile 4)	2.2.1	bestanden
$ mitten im Muster ist ein normales Zeichen Nur ein $ am Musterende verankert das Pfadende. Steht es davor, wird es wörtlich verglichen: Das Muster sperrt /preis$liste, während /preis erlaubt bleibt.	User-agent: * Disallow: /preis$liste	PerplexityBot /preis$liste	gesperrt (Zeile 2)	2.2.3	bestanden
Zwei * hintereinander wirken wie einer * steht für eine beliebige Zeichenfolge, auch für die leere. Mehrere * hintereinander erweitern das Muster nicht; /a**b passt auf dieselben Pfade wie /a*b.	User-agent: * Disallow: /a**b	GPTBot /aXYZb	gesperrt (Zeile 2)	2.2.3	bestanden
Pfadmuster ohne führendes „/“ passt auf keine URL RFC 9309 2.2.2 erwartet einen absoluten Pfad. Der Vergleich beginnt am Pfadanfang, und der ist immer „/“; „privat“ passt deshalb nirgends. Der Tester meldet die Zeile als RFC-Verstoß, die Seite bleibt abrufbar.	User-agent: * Disallow: privat	GPTBot /privat	erlaubt	2.2.2	bestanden

Ich möchte, dass Du die Entscheidung des Werkzeugs nachvollziehen kannst. Ein grünes Ergebnis allein erklärt schließlich noch nicht, welche Konstellation geprüft wurde. Deshalb gehören auch Fälle wie mehrere passende Gruppen, kodierte Zeichen und scheinbar widersprüchliche Regeln in die Sammlung.

Die bestandenen Beispiele sind allerdings kein Nachweis dafür, dass jede mögliche Datei und jede Besonderheit eines Betreibers vollständig abgebildet wird. Der Tester kennzeichnet unter anderem seine zusätzliche Präfix-Auslegung für Bot-Namen. Solche Hinweise solltest Du nicht als allgemeine Zusage über das Verhalten aller Bots lesen.

Wie prüfst Du eine fremde robots.txt?

Du kannst jede öffentlich zugängliche robots.txt als Text prüfen:

1. Öffne die Datei im Browser, beispielsweise https://example.de/robots.txt.
2. Kopiere ihren vollständigen Inhalt in das Textfeld.
3. Trage eine URL dieser Website oder den zu prüfenden Pfad ein.
4. Wähle den Bot und die passende Serverantwort aus.
5. Klicke auf „Prüfen“ und kontrolliere Ergebnis, Gruppe und Hinweise.

Verwende die Datei des richtigen Hosts. www.example.de und shop.example.de können unterschiedliche robots.txt-Dateien ausliefern.

Der Tester lädt fremde Dateien nicht direkt. Browser beschränken solche Zugriffe zwischen unterschiedlichen Websites über CORS (Cross-Origin Resource Sharing), sofern die Zielwebsite sie nicht ausdrücklich erlaubt. Das Einfügen als Text ermöglicht die Prüfung ohne einen zwischengeschalteten Abrufdienst.

Warum sperrt eine Disallow-Regel einen KI-Bot manchmal nicht?

robots.txt ist eine Bitte an den Bot, keine Sperre. Die Datei beschreibt, welche Abrufe Du zulässt. Sie verhindert technisch nicht, dass ein Client trotzdem eine Anfrage an Deinen Server sendet.

Ein korrektes Testergebnis und ein späterer Zugriff im Log können deshalb gleichzeitig vorkommen:

Möglicher Grund	Was dafür spricht	Konsequenz für Deine Prüfung
Der Abruf wird von einem Nutzer ausgelöst.	Perplexity erklärt, dass Perplexity-User robots.txt-Regeln im Allgemeinen ignoriert.	Die korrekt ausgewertete Regel ist für diesen Abruf keine verlässliche Zugangssperre.
Der Bot verwendet noch eine ältere Datei.	Google speichert robots.txt normalerweise bis zu 24 Stunden zwischen; die Dauer kann abweichen.	Vergleiche den Zeitpunkt der Änderung mit dem Zugriff.
Die Kennung nennt einen Bot, dessen Identität nicht bestätigt ist.	User-Agent-Angaben lassen sich frei setzen.	Prüfe zusätzlich die Herkunft des Zugriffs, soweit geeignete Betreiberlisten vorliegen.

Die ersten beiden Fälle sind in der Perplexity-Dokumentation und in Googles Angaben zum robots.txt-Cache beschrieben. Nutzerabrufe verhalten sich dabei nicht überall gleich: Anthropic dokumentiert auch für Claude-User eine Steuerung über robots.txt.

Bei der Auswertung meiner eigenen Website patrickstolp.de für den 7. und 8. September 2026 wurden 312 Logeinträge mit erkannten Bot-Kennungen erfasst. Davon ließen sich 116 über die zugeordneten IP-Listen bestätigen. 161 lagen außerhalb dieser Listen; für weitere 35 war keine Liste zugeordnet.

Daraus lässt sich keine Quote „gefälschter Bots“ berechnen. Die Zahlen zählen Logeinträge, keine unterschiedlichen Bots. Außerdem beweist ein Zugriff auf einen heute gesperrten Pfad noch keinen damaligen Regelverstoß. Dafür müsste unter anderem bekannt sein, welche Fassung der robots.txt zu diesem Zeitpunkt galt und dem Abruf zugrunde lag.

Die Bedeutung des IP-Abgleichs zeigt auch Metehan Yesilyurts GPTBot-Experiment: Er prüfte die Herkunft von OpenAI-Kennungen gegen veröffentlichte IP-Bereiche. Diese zusätzliche Prüfung halte ich für wesentlich, bevor aus einem Namen im Log eine Aussage über den Betreiber wird.

In der Crawler-Referenz ist aufgeschlüsselt, welche Bots robots.txt dokumentiert nicht oder nur eingeschränkt beachten. Muss ein Inhalt tatsächlich unzugänglich bleiben, braucht er einen Zugriffsschutz auf Serverebene, beispielsweise eine Anmeldung.

Auch Fehler beim Abruf der robots.txt können das Verhalten verändern. Google behandelt 404 und 403 als fehlende Datei ohne Crawl-Beschränkungen. Bei Serverfehlern stoppt Google zunächst zwölf Stunden das Crawlen und verwendet anschließend, sofern vorhanden, bis zu 30 Tage die letzte brauchbare Fassung. Ohne gespeicherte Fassung nimmt Google danach keine Beschränkung an. Außerdem ignoriert Google Inhalte hinter der Grenze von 500 KiB. Diese Google-spezifischen Regeln sind nicht vollständig durch die Statusauswahl des Testers abgebildet.

Was steuert robots.txt nicht?

robots.txt steuert das Crawlen, nicht unmittelbar die Indexierung. Für andere Aufgaben brauchst Du andere Einstellungen:

• Eine URL aus Suchergebnissen ausschließen: Eine per robots.txt gesperrte URL kann weiterhin in Google erscheinen. Für noindex muss Google die entsprechende Angabe auf der Seite oder im HTTP-Header abrufen können.
• Snippets begrenzen: Angaben wie nosnippet, max-snippet oder data-nosnippet betreffen die Darstellung von Inhalten. Eine Disallow-Regel ersetzt diese Einstellungen nicht.
• Bereits erfolgte Nutzung rückgängig machen: Eine nachträgliche Regel löscht keine bereits abgerufenen Kopien und entfernt kein Wissen aus einem schon trainierten Modell. Besondere Nutzungstokens wie Google-Extended sind nach den jeweiligen Betreiberangaben zu beurteilen.

Die technischen Angaben zur Indexierung und Snippet-Steuerung sind in Googles Robots-Meta-Dokumentation beschrieben. Die Referenz zu Robots-Meta, X-Robots-Tag und Snippet-Steuerung ordnet die Einstellungen nach ihrer jeweiligen Aufgabe.

Wie erstellst Du eine neue robots.txt?

Mit dem Generator kannst Du eine robots.txt mit gezielter Bot-Auswahl erstellen. Wähle die Regeln getrennt nach Suche, Training und Nutzerabrufen aus und prüfe anschließend konkrete URLs im Tester. So kontrollierst Du auch, ob eine gewünschte Ausnahme tatsächlich greift.

Von Patrick Stolp. Quellenstand und automatisierte Testprüfung: 8. September 2026.