KI-Crawler und Steuer-Tokens im Vergleich

Diese Übersicht hilft Dir, eine Bot-Kennung einzuordnen und die passende Steuerung für Deine Website zu finden. Sie umfasst 14 Einträge von neun zugeordneten Betreibern, darunter Crawler, Nutzerabrufe und zwei reine Steuer-Tokens. Stand der Zusammenstellung ist der 8. September 2026.

Die Betreiberangaben sind mit ihren Quellen verlinkt. Auch für Bytespider liegt inzwischen die Toutiao-Dokumentation mit Suchzweck, IP-Bereichen und robots.txt-Regeln vor (Ergänzung vom 9. September 2026). Damit ist beschrieben, wie der Betreiber seinen Crawler einordnet. Ob ein bestimmter Zugriff tatsächlich von ihm stammt, muss jedoch am jeweiligen Abruf geprüft werden. Die eigenen Logbeobachtungen sind deshalb gesondert ausgewiesen.

Die Übersicht umfasst 14 Einträge von 9 zugeordneten Betreibern. Dazu gehören Crawler, Nutzerabrufe und reine Steuer-Tokens. Betreiberangaben und fehlende Nachweise sind je Zeile gekennzeichnet. Stand geprüft am 08.09.2026. IP-Verifikation der Treffer auf 07.–08.09.2026 gegen die am 08.09.2026 abgerufenen Listen.

Abrufart:alle (14)Suchabruf (2)Trainingsabruf (4)Nutzerabruf (3)Indexabruf (3)Steuer-Token ohne eigenen Bot (2)

Bot	Betreiber	Abrufart	robots.txt-Token	IP-Liste veröffentlicht	verifizierte Treffer (07.–08.09.2026)	beachtet robots.txt (dokumentiert)	Primärquelle	geprüft am
GPTBot	OpenAI	Trainingsabruf	GPTBot	ja (Stand 30.10.2025)	4 von 29	ja	OpenAI-Dokumentation	08.09.2026
OAI-SearchBot	OpenAI	Suchabruf	OAI-SearchBot	ja (Stand 02.01.2026)	0 von 17	ja	OpenAI-Dokumentation	08.09.2026
ChatGPT-User	OpenAI	Nutzerabruf	ChatGPT-User	ja (Stand 04.09.2026)	10 von 37	eingeschränkt	OpenAI-Dokumentation	08.09.2026
ClaudeBot	Anthropic	Trainingsabruf	ClaudeBot	ja (Stand 18.08.2026)	36 von 44	ja	Anthropic-Dokumentation	08.09.2026
Claude-User	Anthropic	Nutzerabruf	Claude-User	ja (Stand 18.08.2026)	0 von 23	ja	Anthropic-Dokumentation	08.09.2026
Claude-SearchBot	Anthropic	Suchabruf	Claude-SearchBot	ja (Stand 18.08.2026)	0 von 14	ja	Anthropic-Dokumentation	08.09.2026
PerplexityBot	Perplexity	Indexabruf	PerplexityBot	ja (Stand 07.02.2025)	6 von 16	ja	Perplexity-Dokumentation	08.09.2026
Perplexity-User	Perplexity	Nutzerabruf	Perplexity-User	ja (Stand 17.10.2025)	0 von 25	nein	Perplexity-Dokumentation	08.09.2026
Google-Extended	Google	Steuer-Token ohne eigenen Bot	Google-Extended (kein eigener User-Agent)	Liste des abrufenden Crawlers (Stand 07.09.2026)	0 von 5 (kein eigener dokumentierter Abruf)	ja	Google-Dokumentation	08.09.2026
CCBot	Common Crawl	Indexabruf	CCBot	ja (Stand 11.08.2026)	kein Treffer im Zeitraum	ja	Common Crawl-Dokumentation	08.09.2026
Bytespider	ByteDance	Indexabruf	Bytespider	ja	19 Treffer, keine IP-Liste für diesen Abgleich	ja	ByteDance-Dokumentation	09.09.2026
Meta-ExternalAgent	Meta	Trainingsabruf	meta-externalagent	nein	11 Treffer, keine IP-Liste für diesen Abgleich	ja	Meta-Dokumentation	08.09.2026
Amazonbot	Amazon	Trainingsabruf	Amazonbot	ja (Stand 30.04.2026)	kein Treffer im Zeitraum	ja	Amazon-Dokumentation	08.09.2026
Applebot-Extended	Apple	Steuer-Token ohne eigenen Bot	Applebot-Extended (kein eigener User-Agent)	Liste des abrufenden Crawlers (Stand 31.07.2026)	kein Treffer im Zeitraum	ja	Apple-Dokumentation	08.09.2026

Was unterscheidet Suche, Training und Nutzerabruf?

Die Einordnung beschreibt den dokumentierten Zweck eines Abrufs. Sie beweist nicht, was mit einer einzelnen abgerufenen Seite anschließend geschieht.

Abrufart	Aufgabe	Beispiele
Suchabruf	Inhalte für Suchfunktionen erfassen	OAI-SearchBot, Claude-SearchBot
Trainingsabruf	Inhalte sammeln, die für das Modelltraining verwendet werden können	GPTBot, ClaudeBot
Nutzerabruf	Eine Seite im Zusammenhang mit einer konkreten Nutzeraktion aufrufen	ChatGPT-User, Claude-User, Perplexity-User
Index oder Datensammlung	Webinhalte für einen Index oder einen weiterverwendbaren Datenbestand erfassen	PerplexityBot, CCBot

Die Grenzen hängen vom Produkt ab. Common Crawl stellt beispielsweise Web-Crawl-Daten zur weiteren Nutzung bereit. Amazonbot dient laut Amazon der Verbesserung seiner Produkte und kann auch Trainingsdaten erfassen. Eine einzelne Kategorie beschreibt deshalb nicht immer sämtliche späteren Verwendungen.

Google-Extended und Applebot-Extended sind Sonderfälle. Sie bezeichnen keinen eigenen Seitenabruf, sondern steuern bestimmte Nutzungen bereits abgerufener Inhalte. Google erläutert das für Google-Extended, Apple für Applebot-Extended. Eine Regel für diese Tokens ist keine Abrufsperre für Googlebot oder Applebot.

Wie prüfst Du eine Kennung aus Deinem Zugriffslog?

Der User-Agent ist eine vom anfragenden Client übermittelte Kennung. Sein Wortlaut allein bestätigt die Herkunft nicht. Auch Common Crawl weist ausdrücklich auf fremde Abrufe mit CCBot-Kennung hin.

Für meine Auswertung vergleiche ich deshalb zusätzlich die Absender-IP mit den veröffentlichten Bereichen des jeweiligen Betreibers. Dabei bleiben vier Ergebnisse getrennt:

• Die Adresse liegt innerhalb der zugeordneten Liste: Der IP-Abgleich bestätigt die Zuordnung für diesen Listenstand.
• Die Adresse liegt außerhalb der Liste: Dieser Abgleich bestätigt den behaupteten Bot nicht.
• Es fehlt eine zugeordnete Liste: Mit diesem Verfahren ist keine Prüfung möglich.
• Im Log fehlt der Name, die Absender-IP liegt aber in einer veröffentlichten Liste: Der Abruf stammt aus dem Netz dieses Betreibers; ein einzelner Bot lässt sich jedoch nur zuordnen, wenn die Liste nur für einen Bot gilt oder der sichtbare Anfang der Kennung eindeutig ist.

Halte bei eigenen Prüfungen auch den Zeitpunkt des Abrufs und den verwendeten Listenstand fest. Ein späterer Abgleich mit einer geänderten Liste beantwortet nicht automatisch dieselbe Frage wie eine Prüfung zum damaligen Zeitpunkt.

Was zeigen die Zugriffslogs von patrickstolp.de?

Für den 7. und 8. September 2026 habe ich 2.578 Logzeilen ausgewertet. Darunter waren 312 Zugriffe mit einer erkannten Such- oder KI-Bot-Kennung. Diese Gesamtzahl umfasst auch Vergleichsbots wie Googlebot und Bingbot, die nicht zu den 14 Einträgen der oberen Tabelle gehören.

Bei 116 Zugriffen passte die Absender-IP zur zugeordneten Betreiberliste. 161 Zugriffe stammten von Adressen außerhalb der jeweiligen Liste; für 35 Zugriffe fehlte eine zugeordnete Liste. Zusätzlich zeigten 151 Zugriffe typische Scanner-Pfade. Diese Zahl überschneidet sich mit den drei Gruppen und wird nicht hinzuaddiert.

Bei einer erneuten Prüfung am 13. Oktober 2026 habe ich festgestellt, dass das Logwerkzeug meines Hosters den User-Agent nach 128 Zeichen abschneidet; 394 Zeilen endeten mit einer solchen gekürzten Kennung. Da meine bisherige Auswertung die Absender-IP nur bei lesbarem Namen geprüft hatte, fehlten diese Abrufe zunächst. Durch die Korrektur kamen 27 weitere Zugriffe aus veröffentlichten Listen hinzu, die ich getrennt führe und nicht zu den Zugriffen mit Namen addiere. 22 davon stammen aus OpenAIs Liste und ließen sich über den sichtbaren Kennungsanfang eindeutig OAI-SearchBot zuordnen. Fünf Abrufe kamen aus Googles Liste für allgemeine Crawler. Weil laut Googles Dokumentation jedoch auch GoogleOther und Google-InspectionTool denselben Kennungsanfang nutzen, ordne ich sie lediglich Google zu. Zusammen mit den 116 stammen damit 143 Abrufe nachweislich aus veröffentlichten Bot-Netzen.

Eigene Beobachtung: Zugriffslogs von patrickstolp.de, 07.–08.09.2026

Der IP-Abgleich vergleicht die Absender-IP mit den veröffentlichten Listen der Betreiber, abgerufen am 08.09.2026. Abrufe, bei denen der Hoster den User-Agent gekürzt hat und der Name deshalb fehlt, ordnet die Auswertung über die IP-Liste zu und zählt sie getrennt von den Zugriffen mit Namen. Zugriffe auf typische Scan-Ziele wie /.aws/credentials oder /.env werden zusätzlich gezählt und überschneiden sich mit den übrigen Gruppen. Solche Pfade allein beweisen keine gefälschte Kennung. 2.578 Logzeilen an 2 Tagen. Es werden keine IP-Adressen ausgegeben.

Bot	Treffer	IP-Abgleich	aus der IP-Liste ohne lesbare Kennung	Scanner-Pfade	robots.txt-Abrufe	Treffer auf Pfade, die im gespeicherten robots.txt-Stand gesperrt sind
GPTBot	29	4 von 29	0	23	0	0
OAI-SearchBot	17	0 von 17	22	14	0	0
ChatGPT-User	37	10 von 37	0	21	0	0
ClaudeBot	44	36 von 44	0	6	16	0
Claude-User	23	0 von 23	0	23	0	0
Claude-SearchBot	14	0 von 14	0	13	0	0
PerplexityBot	16	6 von 16	0	6	2	0
Perplexity-User	25	0 von 25	0	15	0	0
Google-Extended	5	0 von 5 (kein eigener dokumentierter Abruf)	–	5	0	0
CCBot	0	–	0	–	–	–
Bytespider	19	19 Treffer, keine IP-Liste für diesen Abgleich	–	5	0	0
Meta-ExternalAgent	11	11 Treffer, keine IP-Liste für diesen Abgleich	–	9	0	0
Amazonbot	0	–	0	–	–	–
Applebot-Extended	0	–	–	–	–	–

Von 312 Zugriffen mit Such- oder KI-Bot-Kennung lassen sich 116 einer zugeordneten IP-Liste zuordnen. 161 liegen außerhalb dieser Listen; für 35 fehlt eine zugeordnete Liste. Zusätzlich zeigen 151 Zugriffe Scanner-Muster. Diese Zahl überschneidet sich mit den drei Gruppen. Die Gesamtzahl umfasst mehr Kennungen als die 14 Einträge dieser Tabelle, darunter Vergleichsbots wie Googlebot, Bingbot, Applebot und DuckAssistBot.

Die Zahlen beschreiben Zugriffe auf eine einzelne Website. Sie zeigen weder, wie häufig die Bots im gesamten Web auftreten, noch ob abgerufene Inhalte in KI-Antworten verwendet wurden. Der robots.txt-Abgleich nutzt einen gespeicherten Stand; daraus lässt sich kein damaliger Regelverstoß ableiten. Ausgewertet am 13.10.2026.

Bei den Scanner-Pfaden ist diese Trennung besonders wichtig. Ein auffälliger Pfad sagt mir zunächst, welche Adresse angefragt wurde; wer dahintersteht, muss über die Herkunft geklärt werden. Ich würde die 151 Treffer deshalb nicht als zusätzliche Gruppe oder pauschal als böswillige Betreiberzugriffe ausweisen. Ebenso wenig lässt sich aus den Abrufzahlen ablesen, welche Inhalte später in KI-Antworten verwendet wurden. Die Untersuchung beschreibt die Anfragen an meine Website an zwei Tagen und lässt sich nicht auf den gesamten Bot-Traffic im Web hochrechnen.

Welche Abrufe lassen sich mit robots.txt steuern?

Für eine konkrete Regel brauchst Du den passenden Token und die dokumentierte Zusage des Betreibers. Eine Regel für einen Trainingscrawler ist keine pauschale Einstellung für alle Produkte desselben Unternehmens.

Gerade bei Nutzerabrufen unterscheiden sich die Angaben:

Eintrag	Dokumentierte Behandlung von robots.txt
Claude-User	Anthropic erklärt, dass seine Bots robots.txt beachten.
ChatGPT-User	OpenAI weist darauf hin, dass die Regeln bei Nutzeraktionen möglicherweise nicht gelten.
Perplexity-User	Perplexity erklärt, dass der Abruf die Regeln in der Regel ignoriert.

Diese Unterschiede stehen in den Dokumentationen von Anthropic, OpenAI und Perplexity. „Nutzerabruf“ bedeutet also nicht automatisch, dass robots.txt unbeachtet bleibt. Umgekehrt ersetzt eine korrekt formulierte Regel keine fehlende Betreiberzusage.

Mit dem robots.txt-Tester prüfst Du, welche Regel für einen Bot und einen konkreten Pfad gilt. Der Generator erstellt eine Datei aus Deiner Bot-Auswahl. Beide Werkzeuge werten Regeln aus; sie kontrollieren nicht das tatsächliche Verhalten der Anbieter.

Wenn Du Inhalte technisch vor Zugriffen schützen willst, brauchst Du eine Zugriffskontrolle auf Serverebene. robots.txt ist dafür nicht vorgesehen. Das stellt bereits RFC 9309 klar. Für Indexierung und Darstellung gelten wiederum eigene Einstellungen, die die Referenz zur Inhaltssteuerung voneinander abgrenzt.

Die einzelnen Bot-Steckbriefe

Die Steckbriefe verbinden die jeweilige Kennung und Betreiberquelle mit den passenden Regeln und vorhandenen eigenen Beobachtungen. Bei Einträgen ohne eigenen Abruf ist diese Grenze ausdrücklich gekennzeichnet.

OpenAI

• GPTBot: OpenAIs Trainingscrawler und seine Steuerung

  Ruft Webinhalte ab, die OpenAI für das Training seiner Modelle verwenden kann.

  Token GPTBot · Trainingsabruf

• OAI-SearchBot: OpenAIs Suchcrawler und seine Steuerung

  Ruft Inhalte für die Suchfunktionen von ChatGPT ab.

  Token OAI-SearchBot · Suchabruf

• ChatGPT-User: OpenAIs Nutzerabruf und seine Grenzen

  Ruft einzelne Seiten ab, wenn eine Person in ChatGPT oder einer Custom GPT eine Frage stellt oder eine URL einfügt. Kein automatisches Crawling.

  Token ChatGPT-User · Nutzerabruf

Anthropic

• ClaudeBot: Anthropics Trainingscrawler und seine Steuerung

  Sammelt Webinhalte für das Training der Claude-Modelle.

  Token ClaudeBot · Trainingsabruf

• Claude-User: Anthropics Nutzerabruf und seine Steuerung

  Ruft Seiten ab, wenn eine Person Claude eine Frage stellt, die Webzugriff braucht.

  Token Claude-User · Nutzerabruf

• Claude-SearchBot: Anthropics Suchcrawler und seine Steuerung

  Baut den Index für die Websuche in Claude auf.

  Token Claude-SearchBot · Suchabruf

Perplexity

• PerplexityBot: Suchabrufe erkennen und steuern

  Baut den Suchindex von Perplexity auf; laut Perplexity sammelt dieser Abruf nicht für das Training von KI-Basismodellen.

  Token PerplexityBot · Indexabruf

• Perplexity-User: Nutzerabrufe und die Grenzen von robots.txt

  Ruft eine Seite ab, wenn eine Person Perplexity eine Frage stellt; laut Perplexity kein Webcrawl und keine Sammlung für das Training von KI-Basismodellen.

  Token Perplexity-User · Nutzerabruf

Google

• Google-Extended: Training und Grounding steuern

  Steuert, ob von Google gecrawlte Inhalte für das Training künftiger Gemini-Generationen (Gemini Apps, Vertex AI) und für Grounding dort verwendet werden dürfen. Der Abruf selbst läuft über bestehende Google-User-Agents.

  Token Google-Extended · Steuer-Token ohne eigenen Bot

Common Crawl

• CCBot: Common Crawls Archivcrawler und seine Steuerung

  Erzeugt das offene Common-Crawl-Archiv, das viele Anbieter als Trainingsquelle nutzen. Indirekter Trainingsabruf.

  Token CCBot · Indexabruf

ByteDance

• Bytespider: ByteDances Suchcrawler erkennen und einordnen

  Crawler der Toutiao-Suche: ruft Seiten ab, verarbeitet sie für den Suchindex und liefert daraus Suchergebnisse. Eine Nutzung für KI-Training belegt die Betreiberdokumentation nicht.

  Token Bytespider · Indexabruf

Meta

• Meta-ExternalAgent: Abrufe für Training und Produktverbesserung

  Ruft Inhalte für das Training grundlegender KI-Modelle oder für die Produktverbesserung durch direkte Indexierung ab.

  Token meta-externalagent · Trainingsabruf

Amazon

• Amazonbot: Amazons Crawler und seine Steuerung

  Verbessert Amazons Produkte und Dienste; die Inhalte können für das Training von Amazons KI-Modellen verwendet werden. Für Suche und Nutzerabruf nennt Amazon getrennte Tokens (Amzn-SearchBot, Amzn-User).

  Token Amazonbot · Trainingsabruf

Apple

• Applebot-Extended: Die Nutzung für KI-Training steuern

  Steuert, ob von Applebot gecrawlte Inhalte für das Training der Apple-Foundation-Modelle verwendet werden.

  Token Applebot-Extended · Steuer-Token ohne eigenen Bot