Claude-SearchBot: Anthropics Suchcrawler und seine Steuerung

Claude-SearchBot analysiert Webinhalte, um die Qualität der Suchantworten zu verbessern. Anthropic unterscheidet ihn vom Trainingscrawler ClaudeBot und vom Nutzerabruf Claude-User. Quelle ist die Botdokumentation des Betreibers.

Stand geprüft am 08.09.2026 aus der Dokumentation von Anthropic und eigener Logprüfung (07.–08.09.2026).

Betreiber	Anthropic
Abrufart	Suchabruf
Zweck	Baut den Index für die Websuche in Claude auf. navigates the web to improve search result quality for users
User-Agent	Mozilla/5.0 (compatible; Claude-SearchBot/1.0; +https://www.anthropic.com/claude-searchbot) (beobachtet in den Logs von patrickstolp.de) Anthropic dokumentiert nur den Token, keinen vollständigen String. 0 von 14 Treffern im Zeitraum kamen aus den veröffentlichten Anthropic-Bereichen, 13 der 14 zeigten Scanner-Muster; der beobachtete String ist nicht als Abruf von Anthropic belegt.
robots.txt-Token	Claude-SearchBot
IP-Liste veröffentlicht	ja: https://claude.com/crawling/bots.json (Stand der Liste 18.08.2026, abgerufen am 08.09.2026) JSON (ipv4Prefix), gemeinsame Liste
IP-Verifikation	Abgleich der Absender-IP gegen die veröffentlichte Liste (Stand der Liste 18.08.2026, abgerufen am 08.09.2026)
beachtet robots.txt (dokumentiert)	ja, laut Dokumentation Allgemeine Zusage für alle Anthropic-Agents.
Treffer mit dieser Kennung auf patrickstolp.de (07.–08.09.2026)	0 von 14 Kennungstreffern IP-verifiziert; 13 der 14 mit Scanner-Mustern (überlappende Zählung) Scanner-Muster werden über alle Kennungstreffer gezählt, nicht nur über die IP-verifizierten.
Wirkung des Blockierens	Trainingsabruf Keine dokumentierte Wirkung. Suchabruf Laut Anthropic verhindert eine Sperre die Indexierung für die Suchoptimierung und kann Sichtbarkeit und Genauigkeit der Website in Claude-Antworten vermindern. Nutzerabruf Keine dokumentierte Wirkung.
Primärquelle	Does Anthropic crawl data from the web, and how can site owners block the crawler?
geprüft am	08.09.2026

Was zeigen meine Logs zu Claude-SearchBot?

Im ausgewerteten Zeitraum vom 7. und 8. September 2026 gab es auf patrickstolp.de 14 Treffer mit Claude-SearchBot-Kennung. Keine der Absenderadressen lag in der zugeordneten Anthropic-Liste. Bei 13 Treffern wurden außerdem typische Scanner-Pfade angefragt.

Eigene Beobachtung: Zugriffslogs von patrickstolp.de, 07.–08.09.2026

Der IP-Abgleich vergleicht die Absender-IP mit den veröffentlichten Listen der Betreiber, abgerufen am 08.09.2026. Abrufe, bei denen der Hoster den User-Agent gekürzt hat und der Name deshalb fehlt, ordnet die Auswertung über die IP-Liste zu und zählt sie getrennt von den Zugriffen mit Namen. Zugriffe auf typische Scan-Ziele wie /.aws/credentials oder /.env werden zusätzlich gezählt und überschneiden sich mit den übrigen Gruppen. Solche Pfade allein beweisen keine gefälschte Kennung. 2.578 Logzeilen an 2 Tagen. Es werden keine IP-Adressen ausgegeben.

Zeitraum	07.–08.09.2026
Treffer mit Kennung Claude-SearchBot	14
IP-Abgleich	0 von 14
mit Scanner-Pfaden (überlappende Zählung über alle Kennungstreffer)	13
eindeutige Absender-IPs	1 (nur gezählt)
Statuscodes	2xx 0 · 3xx 1 · 4xx 4 · 5xx 0 · sonstige/fehlend 9
Abrufe von /robots.txt	0
Abrufe von /llms.txt	0
Treffer auf Pfade, die im gespeicherten robots.txt-Stand gesperrt sind	0
häufigste Pfade (nur IP-verifiziert)	–

Die Zahlen beschreiben Zugriffe auf eine einzelne Website. Sie zeigen weder, wie häufig die Bots im gesamten Web auftreten, noch ob abgerufene Inhalte in KI-Antworten verwendet wurden. Der robots.txt-Abgleich nutzt einen gespeicherten Stand; daraus lässt sich kein damaliger Regelverstoß ableiten. Ausgewertet am 13.10.2026.

Für die Auswertung bleibt damit eine erhebliche Einschränkung: Ich habe zwar 14 passende Kennungen, aber keinen durch den IP-Abgleich bestätigten Abruf von Claude-SearchBot. Aus den angefragten Pfaden kann ich deshalb nicht ableiten, welche meiner Inhalte Anthropic für die Suche erfasst hat. Das gilt ebenso für die auffälligen Scanner-Pfade, deren Aufruf ich ohne bestätigte Herkunft nicht dem Betreiber zuschreiben kann.

Für eine eigene Prüfung brauchst Du neben der Kennung den Abgleich mit Anthropics IP-Liste. Dokumentiere den Listenstand und trenne bestätigte Abrufe von nicht bestätigten Treffern. Das Verfahren ist in der Crawler-Auswertung beschrieben.

Wie steuerst Du den Suchcrawler?

Diese robots.txt-Gruppe schließt sämtliche Pfade aus:

User-agent: Claude-SearchBot
Disallow: /

Laut Anthropic verhindert eine Sperre die Indexierung für die Suchoptimierung und kann die Sichtbarkeit der Website in Suchergebnissen vermindern.

Wenn Du den Abruf erlauben möchtest, prüfe zunächst, welche Regeln schon gelten. Ohne passende Einschränkung ist keine zusätzliche Freigabe nötig. Eine eigene Gruppe nur mit Allow: / kann dagegen vorhandene Sperren aus der Stern-Gruppe für diesen Bot außer Kraft setzen. Diese Gruppenauswahl folgt RFC 9309.

Mit dem robots.txt-Tester kannst Du die Entscheidung für konkrete Pfade nachvollziehen. Ob der reale Abruf auch Deinen Server erreicht, ist eine separate Frage.

Was lässt sich daraus über Zitate ableiten?

Ob eine Seite als Quelle verwendet wurde, würde ich an der betreffenden Antwort prüfen. Die erlaubte Abrufmöglichkeit allein beantwortet das genauso wenig wie mein zweitägiger Ausschnitt ohne bestätigten Treffer. Mir fehlen sowohl die vollständige vorherige Abrufhistorie als auch die zugehörigen Antworten. Eine Zitatwahrscheinlichkeit oder einen grundsätzlichen Ausschluss der Website kann ich daraus nicht berechnen. Liegt dagegen ein konkreter Verweis vor, lässt sich dessen Inhalt mit der Prüfung des Zitatbelegs nachvollziehen.

• ClaudeBot: Anthropics Trainingscrawler und seine Steuerung

  Sammelt Webinhalte für das Training der Claude-Modelle.

  Token ClaudeBot · Trainingsabruf

• Claude-User: Anthropics Nutzerabruf und seine Steuerung

  Ruft Seiten ab, wenn eine Person Claude eine Frage stellt, die Webzugriff braucht.

  Token Claude-User · Nutzerabruf