Claude-User: Anthropics Nutzerabruf und seine Steuerung

Claude-User kann Websites abrufen, wenn Menschen Claude Fragen stellen. Anthropic bietet für diesen Nutzerabruf ausdrücklich eine Steuerung über robots.txt an. Das beschreibt die Botdokumentation.

Stand geprüft am 08.09.2026 aus der Dokumentation von Anthropic und eigener Logprüfung (07.–08.09.2026).

Betreiber	Anthropic
Abrufart	Nutzerabruf
Zweck	Ruft Seiten ab, wenn eine Person Claude eine Frage stellt, die Webzugriff braucht. supports Claude AI users. When individuals ask questions to Claude, it may access websites
User-Agent	Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +https://www.anthropic.com/claude-user) (beobachtet in den Logs von patrickstolp.de) Anthropic dokumentiert nur den Token, keinen vollständigen String. Kein Treffer mit dieser Kennung kam im Zeitraum aus den veröffentlichten Anthropic-Bereichen (0 von 23); alle 23 zeigten Scanner-Muster. Der beobachtete String ist deshalb nicht als Abruf von Anthropic belegt.
robots.txt-Token	Claude-User
IP-Liste veröffentlicht	ja: https://claude.com/crawling/bots.json (Stand der Liste 18.08.2026, abgerufen am 08.09.2026) JSON (ipv4Prefix), gemeinsame Liste
IP-Verifikation	Abgleich der Absender-IP gegen die veröffentlichte Liste (Stand der Liste 18.08.2026, abgerufen am 08.09.2026)
beachtet robots.txt (dokumentiert)	ja, laut Dokumentation Anthropic beschreibt Claude-User als dokumentiert per robots.txt steuerbar; OpenAI und Perplexity beschreiben ihre Nutzerabrufe anders.
Treffer mit dieser Kennung auf patrickstolp.de (07.–08.09.2026)	0 von 23 Kennungstreffern IP-verifiziert; 23 der 23 mit Scanner-Mustern (überlappende Zählung) Scanner-Muster werden über alle Kennungstreffer gezählt, nicht nur über die IP-verifizierten.
Wirkung des Blockierens	Trainingsabruf Keine dokumentierte Wirkung. Suchabruf Keine dokumentierte Wirkung auf den Suchindex. Nutzerabruf Claude ruft die Seite auf Nutzerfrage nicht mehr ab; Anthropic nennt als Folge geringere Sichtbarkeit bei nutzergesteuerter Websuche.
Primärquelle	Does Anthropic crawl data from the web, and how can site owners block the crawler?
geprüft am	08.09.2026

Wie sperrst Du Claude-User?

Für eine vollständige Sperre verwendest Du:

User-agent: Claude-User
Disallow: /

Anthropic erklärt, dass diese Sperre den Abruf Deiner Inhalte als Reaktion auf eine Nutzerfrage verhindert. Die Zusage steht in der Betreiberdokumentation. Allein aus der Kategorie „Nutzerabruf“ lässt sich die Behandlung von robots.txt also nicht ableiten.

Wenn Du nur den Bereich /artikel/ zugänglich lassen möchtest, lautet die Gruppe stattdessen:

User-agent: Claude-User
Allow: /artikel/
Disallow: /

Die längere passende Freigabe erlaubt Pfade unter /artikel/. Andere Pfade bleiben ausgeschlossen. Prüfe beide Fälle mit der vollständigen Datei im robots.txt-Tester. Die Auswertung folgt RFC 9309, Abschnitt 2.2.2.

Habe ich Claude-User auf meiner Website beobachtet?

In meinen Zugriffslogs vom 7. und 8. September 2026 stehen 23 Treffer mit Claude-User-Kennung. Sämtliche Absenderadressen lagen außerhalb der zugeordneten Anthropic-Liste. Alle 23 Treffer zeigten zudem typische Scanner-Pfade.

Eigene Beobachtung: Zugriffslogs von patrickstolp.de, 07.–08.09.2026

Der IP-Abgleich vergleicht die Absender-IP mit den veröffentlichten Listen der Betreiber, abgerufen am 08.09.2026. Zugriffe auf typische Scan-Ziele wie /.aws/credentials oder /.env werden zusätzlich gezählt und überschneiden sich mit den übrigen Gruppen. Solche Pfade allein beweisen keine gefälschte Kennung. 2.578 Logzeilen an 2 Tagen. Es werden keine IP-Adressen ausgegeben.

Zeitraum	07.–08.09.2026
Treffer mit Kennung Claude-User	23
IP-Abgleich	0 von 23
mit Scanner-Pfaden (überlappende Zählung über alle Kennungstreffer)	23
eindeutige Absender-IPs	1 (nur gezählt)
Statuscodes	2xx 0 · 3xx 5 · 4xx 2 · 5xx 0 · sonstige/fehlend 16
Abrufe von /robots.txt	0
Abrufe von /llms.txt	0
Treffer auf Pfade, die im gespeicherten robots.txt-Stand gesperrt sind	0
häufigste Pfade (nur IP-verifiziert)	–

Die Zahlen beschreiben Zugriffe auf eine einzelne Website. Sie zeigen weder, wie häufig die Bots im gesamten Web auftreten, noch ob abgerufene Inhalte in KI-Antworten verwendet wurden. Der robots.txt-Abgleich nutzt einen gespeicherten Stand; daraus lässt sich kein damaliger Regelverstoß ableiten. Ausgewertet am 08.09.2026.

Ich habe damit keinen per IP bestätigten Claude-User-Abruf in diesem Zeitraum. Die angegebene Kennung reicht nicht, um die Anfragen Anthropic oder einer konkreten Claude-Nutzerfrage zuzuschreiben. Aus diesen Treffern lässt sich auch kein Verstoß Anthropics gegen robots.txt ableiten.

Für eigene Prüfungen steht die gemeinsame Anthropic-IP-Liste zur Verfügung. Vergleiche die Absenderadresse und halte den Listenstand fest. Die Crawler-Übersicht erklärt, wie ich nicht bestätigte Kennungen und eigene bestätigte Beobachtungen auseinanderhalte.

Welche Grenze bleibt trotz Betreiberzusage?

Eine robots.txt-Regel ist keine Zugangskontrolle. Sie beschreibt, welche Abrufe ein Bot unterlassen soll; sie schützt Inhalte nicht vor anderen Clients, die sich nicht daran halten. Darauf weist RFC 9309 ausdrücklich hin.

Für vertrauliche Inhalte brauchst Du deshalb eine Zugriffsbeschränkung auf Serverebene. Und wenn Du Such- oder Trainingsabrufe steuern möchtest, prüfe zusätzlich die dafür vorgesehenen Kennungen. Eine Regel für Claude-User benennt nur diesen Nutzerabruf.

• Claude-SearchBot: Anthropics Suchcrawler und seine Steuerung

  Baut den Index für die Websuche in Claude auf.

  Token Claude-SearchBot · Suchabruf

• ClaudeBot: Anthropics Trainingscrawler und seine Steuerung

  Sammelt Webinhalte für das Training der Claude-Modelle.

  Token ClaudeBot · Trainingsabruf