OAI-SearchBot: OpenAIs Suchcrawler und seine Steuerung

OAI-SearchBot ruft Inhalte für die Suchfunktionen von ChatGPT ab. Wenn Du steuern möchtest, ob Deine Seiten dort als Quelle verwendet werden können, ist diese Kennung relevant. Für mögliches Modelltraining gibt es die getrennte Einstellung für GPTBot. Die Unterscheidung beschreibt die OpenAI-Botdokumentation.

Stand geprüft am 08.09.2026 aus der Dokumentation von OpenAI und eigener Logprüfung (07.–08.09.2026).

Betreiber	OpenAI
Abrufart	Suchabruf
Zweck	Ruft Inhalte für die Suchfunktionen von ChatGPT ab. surface websites in search results in ChatGPT's search features
User-Agent	Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot (laut Dokumentation) Beim Abruf der robots.txt kann laut OpenAI zusätzlich der Marker „robots.txt;“ in der Kennung stehen; er ist keine Pflichtvariante. In eigenen Logs beobachtete Varianten dieser Kennung sind ohne IP-Bestätigung nur Kennungstreffer.
robots.txt-Token	OAI-SearchBot
IP-Liste veröffentlicht	ja: https://openai.com/searchbot.json (Stand der Liste 02.01.2026, abgerufen am 08.09.2026) JSON (ipv4Prefix)
IP-Verifikation	Abgleich der Absender-IP gegen die veröffentlichte Liste (Stand der Liste 02.01.2026, abgerufen am 08.09.2026)
beachtet robots.txt (dokumentiert)	ja, laut Dokumentation OpenAI empfiehlt, OAI-SearchBot in robots.txt zuzulassen, damit Seiten in der ChatGPT-Suche erscheinen.
Treffer mit dieser Kennung auf patrickstolp.de (07.–08.09.2026)	0 von 17 Kennungstreffern IP-verifiziert; 14 der 17 mit Scanner-Mustern (überlappende Zählung) Scanner-Muster werden über alle Kennungstreffer gezählt, nicht nur über die IP-verifizierten.
Wirkung des Blockierens	Trainingsabruf Keine dokumentierte Wirkung. Training läuft über GPTBot. Suchabruf Gesperrte Websites erscheinen laut OpenAI nicht in den Suchantworten von ChatGPT und werden dort nicht als Quelle zitiert. Ausnahme laut Publisher-FAQ: URL und Titel können aus anderen Quellen weiterhin als Navigationslink auftauchen; für deren Ausschluss verweist OpenAI auf noindex, das eine abrufbare Seite voraussetzt. Nutzerabruf Keine dokumentierte Wirkung.
Primärquelle	Overview of OpenAI Crawlers
geprüft am	08.09.2026

Wie erkennst Du OAI-SearchBot in Deinen Logs?

Suche nach der Kennung OAI-SearchBot und vergleiche die Absender-IP mit der veröffentlichten Betreiberliste. Halte den Listenstand fest, damit Du den Abgleich später nachvollziehen kannst. Eine passende Kennung allein bestätigt die Herkunft nicht.

Meine Auswertung von patrickstolp.de zeigt, warum diese Trennung nötig ist: Am 7. und 8. September 2026 gab es 17 Treffer mit OAI-SearchBot-Kennung. Sämtliche Absenderadressen lagen außerhalb der zugeordneten IP-Liste. Bei 14 dieser Treffer wurden zusätzlich typische Scanner-Pfade angefragt.

Eigene Beobachtung: Zugriffslogs von patrickstolp.de, 07.–08.09.2026

Der IP-Abgleich vergleicht die Absender-IP mit den veröffentlichten Listen der Betreiber, abgerufen am 08.09.2026. Zugriffe auf typische Scan-Ziele wie /.aws/credentials oder /.env werden zusätzlich gezählt und überschneiden sich mit den übrigen Gruppen. Solche Pfade allein beweisen keine gefälschte Kennung. 2.578 Logzeilen an 2 Tagen. Es werden keine IP-Adressen ausgegeben.

Zeitraum	07.–08.09.2026
Treffer mit Kennung OAI-SearchBot	17
IP-Abgleich	0 von 17
mit Scanner-Pfaden (überlappende Zählung über alle Kennungstreffer)	14
eindeutige Absender-IPs	1 (nur gezählt)
Statuscodes	2xx 0 · 3xx 4 · 4xx 3 · 5xx 0 · sonstige/fehlend 10
Abrufe von /robots.txt	0
Abrufe von /llms.txt	0
Treffer auf Pfade, die im gespeicherten robots.txt-Stand gesperrt sind	0
häufigste Pfade (nur IP-verifiziert)	–

Die Zahlen beschreiben Zugriffe auf eine einzelne Website. Sie zeigen weder, wie häufig die Bots im gesamten Web auftreten, noch ob abgerufene Inhalte in KI-Antworten verwendet wurden. Der robots.txt-Abgleich nutzt einen gespeicherten Stand; daraus lässt sich kein damaliger Regelverstoß ableiten. Ausgewertet am 08.09.2026.

Für diesen Zeitraum habe ich damit keinen per IP bestätigten OAI-SearchBot-Abruf. Die 17 Kennungstreffer belegen weder eine Aufnahme meiner Seiten in die Suche noch ein Interesse OpenAIs an den angefragten Pfaden. Die Crawler-Auswertung erläutert das Prüfverfahren und seine Grenzen.

Wie erlaubst oder sperrst Du den Suchabruf?

Wenn keine passende robots.txt-Regel den Abruf ausschließt, brauchst Du keine zusätzliche Freigabe. Für eine vollständige Sperre lautet die Gruppe:

User-agent: OAI-SearchBot
Disallow: /

Wenn Du stattdessen ausschließlich /artikel/ freigeben möchtest:

User-agent: OAI-SearchBot
Allow: /artikel/
Disallow: /

Die längere passende Regel erlaubt Abrufe unter /artikel/. Beachte dabei: Eine eigene Bot-Gruppe übernimmt nicht zusätzlich die Regeln der Stern-Gruppe. Benötigte Ausnahmen und Pfadsperren gehören deshalb in die passende Gruppe. Das folgt aus RFC 9309, Abschnitte 2.2.1 und 2.2.2.

Prüfe im robots.txt-Tester die vollständige Datei mit einem erlaubten und einem ausgeschlossenen Beispielpfad. Eine dort bestätigte Freigabe sagt noch nichts darüber aus, ob beispielsweise Deine Firewall den tatsächlichen Abruf zulässt.

Was bewirkt eine Sperre in der ChatGPT-Suche?

OpenAI schließt gesperrte Websites aus Suchantworten aus, lässt aber Navigationslinks als Ausnahme zu. Für die Anpassung nach einer robots.txt-Änderung nennt die Dokumentation ungefähr 24 Stunden. Das ist keine Zusage, dass jede sichtbare Spur einer Website zu einem festen Zeitpunkt verschwindet.

Die Publisher-FAQ beschreibt für ChatGPT Atlas einen konkreten Fall: Stammt eine URL aus einer anderen Quelle, können weiterhin Titel und Link erscheinen. Für deren Ausschluss verweist OpenAI auf noindex. Damit der Crawler diese Anweisung lesen kann, muss die betreffende Seite abrufbar bleiben.

Abrufsperre und Ausschluss aus einer Darstellung lösen also unterschiedliche Aufgaben. Die Referenz zur Inhaltssteuerung ordnet die Einstellungen ein.

Garantiert eine Freigabe einen Quellenlink?

Aus einer Freigabe lässt sich keine Zitation ableiten. Auch ein bestätigter Abruf zeigt zunächst nur, dass eine Seite angefragt wurde. Ob sie in einer konkreten Antwort als Quelle erscheint, musst Du an dieser Antwort prüfen.

David Konitzny beschreibt diesen Unterschied in seiner Untersuchung von ChatGPT Deep Research vom 22. Juni 2026: In den aufgezeichneten Sitzungen wurden mehr Seiten gelesen als zitiert. Die Untersuchung betrifft Deep Research in der beobachteten Fassung und liefert keine allgemeine Zitatwahrscheinlichkeit für freigegebene Websites.

Die anderen OpenAI-Abrufarten

• GPTBot: OpenAIs Trainingscrawler und seine Steuerung

  Ruft Webinhalte ab, die OpenAI für das Training seiner Modelle verwenden kann.

  Token GPTBot · Trainingsabruf

• ChatGPT-User: OpenAIs Nutzerabruf und seine Grenzen

  Ruft einzelne Seiten ab, wenn eine Person in ChatGPT oder einer Custom GPT eine Frage stellt oder eine URL einfügt. Kein automatisches Crawling.

  Token ChatGPT-User · Nutzerabruf