KI-Crawler und Steuer-Tokens im Vergleich

Diese Übersicht hilft Dir, eine Bot-Kennung einzuordnen und die passende Steuerung für Deine Website zu finden. Sie umfasst 14 Einträge von neun zugeordneten Betreibern, darunter Crawler, Nutzerabrufe und zwei reine Steuer-Tokens. Stand der Zusammenstellung ist der 8. September 2026.

Wo Betreiberangaben vorliegen, sind sie mit ihrer Quelle verlinkt. Bei Bytespider liegt mir keine entsprechende Betreiberdokumentation vor. Die eigenen Logbeobachtungen stehen getrennt davon: Eine dokumentierte Kennung und ein bestätigter Abruf sind zwei unterschiedliche Informationen.

Die Übersicht umfasst 14 Einträge von 9 zugeordneten Betreibern. Dazu gehören Crawler, Nutzerabrufe und reine Steuer-Tokens. Betreiberangaben und fehlende Nachweise sind je Zeile gekennzeichnet. Stand geprüft am 08.09.2026. IP-Verifikation der Treffer auf 07.–08.09.2026 gegen die am 08.09.2026 abgerufenen Listen.

Abrufart:alle (14)Suchabruf (2)Trainingsabruf (5)Nutzerabruf (3)Indexabruf (2)Steuer-Token ohne eigenen Bot (2)

Bot	Betreiber	Abrufart	robots.txt-Token	IP-Liste veröffentlicht	verifizierte Treffer (07.–08.09.2026)	beachtet robots.txt (dokumentiert)	Primärquelle	geprüft am
GPTBot	OpenAI	Trainingsabruf	GPTBot	ja (Stand 30.10.2025)	4 von 29	ja	OpenAI-Dokumentation	08.09.2026
OAI-SearchBot	OpenAI	Suchabruf	OAI-SearchBot	ja (Stand 02.01.2026)	0 von 17	ja	OpenAI-Dokumentation	08.09.2026
ChatGPT-User	OpenAI	Nutzerabruf	ChatGPT-User	ja (Stand 04.09.2026)	10 von 37	eingeschränkt	OpenAI-Dokumentation	08.09.2026
ClaudeBot	Anthropic	Trainingsabruf	ClaudeBot	ja (Stand 18.08.2026)	36 von 44	ja	Anthropic-Dokumentation	08.09.2026
Claude-User	Anthropic	Nutzerabruf	Claude-User	ja (Stand 18.08.2026)	0 von 23	ja	Anthropic-Dokumentation	08.09.2026
Claude-SearchBot	Anthropic	Suchabruf	Claude-SearchBot	ja (Stand 18.08.2026)	0 von 14	ja	Anthropic-Dokumentation	08.09.2026
PerplexityBot	Perplexity	Indexabruf	PerplexityBot	ja (Stand 07.02.2025)	6 von 16	ja	Perplexity-Dokumentation	08.09.2026
Perplexity-User	Perplexity	Nutzerabruf	Perplexity-User	ja (Stand 17.10.2025)	0 von 25	nein	Perplexity-Dokumentation	08.09.2026
Google-Extended	Google	Steuer-Token ohne eigenen Bot	Google-Extended (kein eigener User-Agent)	Liste des abrufenden Crawlers (Stand 07.09.2026)	0 von 5 (kein eigener dokumentierter Abruf)	ja	Google-Dokumentation	08.09.2026
CCBot	Common Crawl	Indexabruf	CCBot	ja (Stand 11.08.2026)	kein Treffer im Zeitraum	ja	Common Crawl-Dokumentation	08.09.2026
Bytespider	ByteDance	Trainingsabruf	Bytespider	nein	19 Treffer, keine IP-Liste für diesen Abgleich	nicht dokumentiert	keine Betreiberdokumentation	08.09.2026
Meta-ExternalAgent	Meta	Trainingsabruf	meta-externalagent	nein	11 Treffer, keine IP-Liste für diesen Abgleich	ja	Meta-Dokumentation	08.09.2026
Amazonbot	Amazon	Trainingsabruf	Amazonbot	ja (Stand 30.04.2026)	kein Treffer im Zeitraum	ja	Amazon-Dokumentation	08.09.2026
Applebot-Extended	Apple	Steuer-Token ohne eigenen Bot	Applebot-Extended (kein eigener User-Agent)	Liste des abrufenden Crawlers (Stand 31.07.2026)	kein Treffer im Zeitraum	ja	Apple-Dokumentation	08.09.2026

Was unterscheidet Suche, Training und Nutzerabruf?

Die Einordnung beschreibt den dokumentierten Zweck eines Abrufs. Sie beweist nicht, was mit einer einzelnen abgerufenen Seite anschließend geschieht.

Abrufart	Aufgabe	Beispiele
Suchabruf	Inhalte für Suchfunktionen erfassen	OAI-SearchBot, Claude-SearchBot
Trainingsabruf	Inhalte sammeln, die für das Modelltraining verwendet werden können	GPTBot, ClaudeBot
Nutzerabruf	Eine Seite im Zusammenhang mit einer konkreten Nutzeraktion aufrufen	ChatGPT-User, Claude-User, Perplexity-User
Index oder Datensammlung	Webinhalte für einen Index oder einen weiterverwendbaren Datenbestand erfassen	PerplexityBot, CCBot

Die Grenzen hängen vom Produkt ab. Common Crawl stellt beispielsweise Web-Crawl-Daten zur weiteren Nutzung bereit. Amazonbot dient laut Amazon der Verbesserung seiner Produkte und kann auch Trainingsdaten erfassen. Eine einzelne Kategorie beschreibt deshalb nicht immer sämtliche späteren Verwendungen.

Google-Extended und Applebot-Extended sind Sonderfälle. Sie bezeichnen keinen eigenen Seitenabruf, sondern steuern bestimmte Nutzungen bereits abgerufener Inhalte. Google erläutert das für Google-Extended, Apple für Applebot-Extended. Eine Regel für diese Tokens ist keine Abrufsperre für Googlebot oder Applebot.

Wie prüfst Du eine Kennung aus Deinem Zugriffslog?

Der User-Agent ist eine vom anfragenden Client übermittelte Kennung. Sein Wortlaut allein bestätigt die Herkunft nicht. Auch Common Crawl weist ausdrücklich auf fremde Abrufe mit CCBot-Kennung hin.

Für meine Auswertung vergleiche ich deshalb zusätzlich die Absender-IP mit den veröffentlichten Bereichen des jeweiligen Betreibers. Dabei bleiben drei Ergebnisse getrennt:

• Die Adresse liegt innerhalb der zugeordneten Liste: Der IP-Abgleich bestätigt die Zuordnung für diesen Listenstand.
• Die Adresse liegt außerhalb der Liste: Dieser Abgleich bestätigt den behaupteten Bot nicht.
• Es fehlt eine zugeordnete Liste: Mit diesem Verfahren ist keine Prüfung möglich.

Halte bei eigenen Prüfungen auch den Zeitpunkt des Abrufs und den verwendeten Listenstand fest. Ein späterer Abgleich mit einer geänderten Liste beantwortet nicht automatisch dieselbe Frage wie eine Prüfung zum damaligen Zeitpunkt.

Was zeigen die Zugriffslogs von patrickstolp.de?

Für den 7. und 8. September 2026 habe ich 2.578 Logzeilen ausgewertet. Darunter waren 312 Zugriffe mit einer erkannten Such- oder KI-Bot-Kennung. Diese Gesamtzahl umfasst auch Vergleichsbots wie Googlebot und Bingbot, die nicht zu den 14 Einträgen der oberen Tabelle gehören.

Bei 116 Zugriffen passte die Absender-IP zur zugeordneten Betreiberliste. 161 Zugriffe stammten von Adressen außerhalb der jeweiligen Liste; für 35 Zugriffe fehlte eine zugeordnete Liste. Zusätzlich zeigten 151 Zugriffe typische Scanner-Pfade. Diese Zahl überschneidet sich mit den drei Gruppen und wird nicht hinzuaddiert.

Eigene Beobachtung: Zugriffslogs von patrickstolp.de, 07.–08.09.2026

Der IP-Abgleich vergleicht die Absender-IP mit den veröffentlichten Listen der Betreiber, abgerufen am 08.09.2026. Zugriffe auf typische Scan-Ziele wie /.aws/credentials oder /.env werden zusätzlich gezählt und überschneiden sich mit den übrigen Gruppen. Solche Pfade allein beweisen keine gefälschte Kennung. 2.578 Logzeilen an 2 Tagen. Es werden keine IP-Adressen ausgegeben.

Bot	Treffer	IP-Abgleich	Scanner-Pfade	robots.txt-Abrufe	Treffer auf Pfade, die im gespeicherten robots.txt-Stand gesperrt sind
GPTBot	29	4 von 29	23	0	0
OAI-SearchBot	17	0 von 17	14	0	0
ChatGPT-User	37	10 von 37	21	0	0
ClaudeBot	44	36 von 44	6	16	0
Claude-User	23	0 von 23	23	0	0
Claude-SearchBot	14	0 von 14	13	0	0
PerplexityBot	16	6 von 16	6	2	0
Perplexity-User	25	0 von 25	15	0	0
Google-Extended	5	0 von 5 (kein eigener dokumentierter Abruf)	5	0	0
CCBot	0	–	–	–	–
Bytespider	19	19 Treffer, keine IP-Liste für diesen Abgleich	5	0	0
Meta-ExternalAgent	11	11 Treffer, keine IP-Liste für diesen Abgleich	9	0	0
Amazonbot	0	–	–	–	–
Applebot-Extended	0	–	–	–	–

Von 312 Zugriffen mit Such- oder KI-Bot-Kennung lassen sich 116 einer zugeordneten IP-Liste zuordnen. 161 liegen außerhalb dieser Listen; für 35 fehlt eine zugeordnete Liste. Zusätzlich zeigen 151 Zugriffe Scanner-Muster. Diese Zahl überschneidet sich mit den drei Gruppen. Die Gesamtzahl umfasst mehr Kennungen als die 14 Einträge dieser Tabelle, darunter Vergleichsbots wie Googlebot, Bingbot, Applebot und DuckAssistBot.

Die Zahlen beschreiben Zugriffe auf eine einzelne Website. Sie zeigen weder, wie häufig die Bots im gesamten Web auftreten, noch ob abgerufene Inhalte in KI-Antworten verwendet wurden. Der robots.txt-Abgleich nutzt einen gespeicherten Stand; daraus lässt sich kein damaliger Regelverstoß ableiten. Ausgewertet am 08.09.2026.

Aus einem Scanner-Pfad allein leite ich weder eine gefälschte Kennung noch einen böswilligen Betreiber ab. Auch die Zahl der Zugriffe sagt nicht, ob Inhalte in einer KI-Antwort verwendet wurden. Die Auswertung beschreibt eine Website an zwei beobachteten Tagen, keine allgemeine Verteilung des Bot-Traffics im Web.

Welche Abrufe lassen sich mit robots.txt steuern?

Für eine konkrete Regel brauchst Du den passenden Token und die dokumentierte Zusage des Betreibers. Eine Regel für einen Trainingscrawler ist keine pauschale Einstellung für alle Produkte desselben Unternehmens.

Gerade bei Nutzerabrufen unterscheiden sich die Angaben:

Eintrag	Dokumentierte Behandlung von robots.txt
Claude-User	Anthropic erklärt, dass seine Bots robots.txt beachten.
ChatGPT-User	OpenAI weist darauf hin, dass die Regeln bei Nutzeraktionen möglicherweise nicht gelten.
Perplexity-User	Perplexity erklärt, dass der Abruf die Regeln in der Regel ignoriert.

Diese Unterschiede stehen in den Dokumentationen von Anthropic, OpenAI und Perplexity. „Nutzerabruf“ bedeutet also nicht automatisch, dass robots.txt unbeachtet bleibt. Umgekehrt ersetzt eine korrekt formulierte Regel keine fehlende Betreiberzusage.

Mit dem robots.txt-Tester prüfst Du, welche Regel für einen Bot und einen konkreten Pfad gilt. Der Generator erstellt eine Datei aus Deiner Bot-Auswahl. Beide Werkzeuge werten Regeln aus; sie kontrollieren nicht das tatsächliche Verhalten der Anbieter.

Wenn Du Inhalte technisch vor Zugriffen schützen willst, brauchst Du eine Zugriffskontrolle auf Serverebene. robots.txt ist dafür nicht vorgesehen. Das stellt bereits RFC 9309 klar. Für Indexierung und Darstellung gelten wiederum eigene Einstellungen, die die Referenz zur Inhaltssteuerung voneinander abgrenzt.

Die einzelnen Bot-Steckbriefe

Die Steckbriefe verbinden die jeweilige Kennung und Betreiberquelle mit den passenden Regeln und vorhandenen eigenen Beobachtungen. Bei Einträgen ohne eigenen Abruf ist diese Grenze ausdrücklich gekennzeichnet.

OpenAI

• GPTBot: OpenAIs Trainingscrawler und seine Steuerung

  Ruft Webinhalte ab, die OpenAI für das Training seiner Modelle verwenden kann.

  Token GPTBot · Trainingsabruf

• OAI-SearchBot: OpenAIs Suchcrawler und seine Steuerung

  Ruft Inhalte für die Suchfunktionen von ChatGPT ab.

  Token OAI-SearchBot · Suchabruf

• ChatGPT-User: OpenAIs Nutzerabruf und seine Grenzen

  Ruft einzelne Seiten ab, wenn eine Person in ChatGPT oder einer Custom GPT eine Frage stellt oder eine URL einfügt. Kein automatisches Crawling.

  Token ChatGPT-User · Nutzerabruf

Anthropic

• ClaudeBot: Anthropics Trainingscrawler und seine Steuerung

  Sammelt Webinhalte für das Training der Claude-Modelle.

  Token ClaudeBot · Trainingsabruf

• Claude-User: Anthropics Nutzerabruf und seine Steuerung

  Ruft Seiten ab, wenn eine Person Claude eine Frage stellt, die Webzugriff braucht.

  Token Claude-User · Nutzerabruf

• Claude-SearchBot: Anthropics Suchcrawler und seine Steuerung

  Baut den Index für die Websuche in Claude auf.

  Token Claude-SearchBot · Suchabruf

Perplexity

• PerplexityBot: Suchabrufe erkennen und steuern

  Baut den Suchindex von Perplexity auf; laut Perplexity sammelt dieser Abruf nicht für das Training von KI-Basismodellen.

  Token PerplexityBot · Indexabruf

• Perplexity-User: Nutzerabrufe und die Grenzen von robots.txt

  Ruft eine Seite ab, wenn eine Person Perplexity eine Frage stellt; laut Perplexity kein Webcrawl und keine Sammlung für das Training von KI-Basismodellen.

  Token Perplexity-User · Nutzerabruf

Google

• Google-Extended: Training und Grounding steuern

  Steuert, ob von Google gecrawlte Inhalte für das Training künftiger Gemini-Generationen (Gemini Apps, Vertex AI) und für Grounding dort verwendet werden dürfen. Der Abruf selbst läuft über bestehende Google-User-Agents.

  Token Google-Extended · Steuer-Token ohne eigenen Bot

Common Crawl

• CCBot: Common Crawls Archivcrawler und seine Steuerung

  Erzeugt das offene Common-Crawl-Archiv, das viele Anbieter als Trainingsquelle nutzen. Indirekter Trainingsabruf.

  Token CCBot · Indexabruf

ByteDance

• Bytespider: ByteDances Crawler und seine Grenzen

  ByteDance-Crawler; Zweck vom Betreiber nicht öffentlich dokumentiert. Unabhängige Berichte ordnen ihn dem Training zu.

  Token Bytespider · Trainingsabruf

Meta

• Meta-ExternalAgent: Metas Trainingscrawler und seine Steuerung

  Sammelt Inhalte für das Training der Meta-Modelle und zur Produktverbesserung durch direkte Indexierung.

  Token meta-externalagent · Trainingsabruf

Amazon

• Amazonbot: Amazons Crawler und seine Steuerung

  Verbessert Amazons Produkte und Dienste; die Inhalte können für das Training von Amazons KI-Modellen verwendet werden. Für Suche und Nutzerabruf nennt Amazon getrennte Tokens (Amzn-SearchBot, Amzn-User).

  Token Amazonbot · Trainingsabruf

Apple

• Applebot-Extended: Die Nutzung für KI-Training steuern

  Steuert, ob von Applebot gecrawlte Inhalte für das Training der Apple-Foundation-Modelle verwendet werden.

  Token Applebot-Extended · Steuer-Token ohne eigenen Bot