Claude-SearchBot: Anthropics Suchcrawler und seine Steuerung

Claude-SearchBot analysiert Webinhalte, um die Qualität der Suchantworten zu verbessern. Anthropic unterscheidet ihn vom Trainingscrawler ClaudeBot und vom Nutzerabruf Claude-User. Quelle ist die Botdokumentation des Betreibers.

Stand geprüft am 08.09.2026 aus der Dokumentation von Anthropic und eigener Logprüfung (07.–08.09.2026).

Betreiber	Anthropic
Abrufart	Suchabruf
Zweck	Baut den Index für die Websuche in Claude auf. navigates the web to improve search result quality for users
User-Agent	Mozilla/5.0 (compatible; Claude-SearchBot/1.0; +https://www.anthropic.com/claude-searchbot) (beobachtet in den Logs von patrickstolp.de) Anthropic dokumentiert nur den Token, keinen vollständigen String. 0 von 14 Treffern im Zeitraum kamen aus den veröffentlichten Anthropic-Bereichen, 13 der 14 zeigten Scanner-Muster; der beobachtete String ist nicht als Abruf von Anthropic belegt.
robots.txt-Token	Claude-SearchBot
IP-Liste veröffentlicht	ja: https://claude.com/crawling/bots.json (Stand der Liste 18.08.2026, abgerufen am 08.09.2026) JSON (ipv4Prefix), gemeinsame Liste
IP-Verifikation	Abgleich der Absender-IP gegen die veröffentlichte Liste (Stand der Liste 18.08.2026, abgerufen am 08.09.2026)
beachtet robots.txt (dokumentiert)	ja, laut Dokumentation Allgemeine Zusage für alle Anthropic-Agents.
Treffer mit dieser Kennung auf patrickstolp.de (07.–08.09.2026)	0 von 14 Kennungstreffern IP-verifiziert; 13 der 14 mit Scanner-Mustern (überlappende Zählung) Scanner-Muster werden über alle Kennungstreffer gezählt, nicht nur über die IP-verifizierten.
Wirkung des Blockierens	Trainingsabruf Keine dokumentierte Wirkung. Suchabruf Laut Anthropic verhindert eine Sperre die Indexierung für die Suchoptimierung und kann Sichtbarkeit und Genauigkeit der Website in Claude-Antworten vermindern. Nutzerabruf Keine dokumentierte Wirkung.
Primärquelle	Does Anthropic crawl data from the web, and how can site owners block the crawler?
geprüft am	08.09.2026

Was zeigen meine Logs zu Claude-SearchBot?

Im ausgewerteten Zeitraum vom 7. und 8. September 2026 gab es auf patrickstolp.de 14 Treffer mit Claude-SearchBot-Kennung. Keine der Absenderadressen lag in der zugeordneten Anthropic-Liste. Bei 13 Treffern wurden außerdem typische Scanner-Pfade angefragt.

Eigene Beobachtung: Zugriffslogs von patrickstolp.de, 07.–08.09.2026

Der IP-Abgleich vergleicht die Absender-IP mit den veröffentlichten Listen der Betreiber, abgerufen am 08.09.2026. Zugriffe auf typische Scan-Ziele wie /.aws/credentials oder /.env werden zusätzlich gezählt und überschneiden sich mit den übrigen Gruppen. Solche Pfade allein beweisen keine gefälschte Kennung. 2.578 Logzeilen an 2 Tagen. Es werden keine IP-Adressen ausgegeben.

Zeitraum	07.–08.09.2026
Treffer mit Kennung Claude-SearchBot	14
IP-Abgleich	0 von 14
mit Scanner-Pfaden (überlappende Zählung über alle Kennungstreffer)	13
eindeutige Absender-IPs	1 (nur gezählt)
Statuscodes	2xx 0 · 3xx 1 · 4xx 4 · 5xx 0 · sonstige/fehlend 9
Abrufe von /robots.txt	0
Abrufe von /llms.txt	0
Treffer auf Pfade, die im gespeicherten robots.txt-Stand gesperrt sind	0
häufigste Pfade (nur IP-verifiziert)	–

Die Zahlen beschreiben Zugriffe auf eine einzelne Website. Sie zeigen weder, wie häufig die Bots im gesamten Web auftreten, noch ob abgerufene Inhalte in KI-Antworten verwendet wurden. Der robots.txt-Abgleich nutzt einen gespeicherten Stand; daraus lässt sich kein damaliger Regelverstoß ableiten. Ausgewertet am 08.09.2026.

Damit ist in diesem Ausschnitt kein Abruf durch Claude-SearchBot per IP bestätigt. Die Kennungstreffer sagen nichts darüber aus, welche meiner Inhalte Anthropic für die Suche erfasst hat. Sie eignen sich auch nicht, um dem Betreiber das Anfragen der Scanner-Pfade zuzuschreiben.

Für eine eigene Prüfung brauchst Du neben der Kennung den Abgleich mit Anthropics IP-Liste. Dokumentiere den Listenstand und trenne bestätigte Abrufe von nicht bestätigten Treffern. Das Verfahren ist in der Crawler-Auswertung beschrieben.

Wie steuerst Du den Suchcrawler?

Diese robots.txt-Gruppe schließt sämtliche Pfade aus:

User-agent: Claude-SearchBot
Disallow: /

Laut Anthropic verhindert eine Sperre die Indexierung für die Suchoptimierung und kann die Sichtbarkeit der Website in Suchergebnissen vermindern.

Wenn Du den Abruf erlauben möchtest, prüfe zunächst, welche Regeln schon gelten. Ohne passende Einschränkung ist keine zusätzliche Freigabe nötig. Eine eigene Gruppe nur mit Allow: / kann dagegen vorhandene Sperren aus der Stern-Gruppe für diesen Bot außer Kraft setzen. Diese Gruppenauswahl folgt RFC 9309.

Mit dem robots.txt-Tester kannst Du die Entscheidung für konkrete Pfade nachvollziehen. Ob der reale Abruf auch Deinen Server erreicht, ist eine separate Frage.

Was lässt sich daraus über Zitate ableiten?

Die Möglichkeit eines Abrufs belegt keine Verwendung als Quelle. Dafür brauchst Du eine konkrete Antwort, in der die betreffende Seite verlinkt wird. Umgekehrt lässt ein fehlender bestätigter Logtreffer in zwei Tagen nicht den Schluss zu, dass eine Website grundsätzlich in keiner Antwort vorkommen kann.

Für meine Auswertung fehlen sowohl die vollständige Abrufhistorie als auch zugehörige Antworten. Ich leite daraus deshalb weder eine Zitatwahrscheinlichkeit noch einen vollständigen Ausschluss ab. Die Referenz zum Zitatbeleg hilft Dir, einen tatsächlichen Quellenverweis zu prüfen.

• ClaudeBot: Anthropics Trainingscrawler und seine Steuerung

  Sammelt Webinhalte für das Training der Claude-Modelle.

  Token ClaudeBot · Trainingsabruf

• Claude-User: Anthropics Nutzerabruf und seine Steuerung

  Ruft Seiten ab, wenn eine Person Claude eine Frage stellt, die Webzugriff braucht.

  Token Claude-User · Nutzerabruf