OAI-SearchBot: OpenAIs Suchcrawler und seine Steuerung

OAI-SearchBot ruft Inhalte für die Suchfunktionen von ChatGPT ab. Wenn Du steuern möchtest, ob Deine Seiten dort als Quelle verwendet werden können, ist diese Kennung relevant. Für mögliches Modelltraining gibt es die getrennte Einstellung für GPTBot. Die Unterscheidung beschreibt die OpenAI-Botdokumentation.

Stand geprüft am 08.09.2026 aus der Dokumentation von OpenAI und eigener Logprüfung (07.–08.09.2026).

Betreiber	OpenAI
Abrufart	Suchabruf
Zweck	Ruft Inhalte für die Suchfunktionen von ChatGPT ab. surface websites in search results in ChatGPT's search features
User-Agent	Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot (laut Dokumentation) Beim Abruf der robots.txt kann laut OpenAI zusätzlich der Marker „robots.txt;“ in der Kennung stehen; er ist keine Pflichtvariante. In eigenen Logs beobachtete Varianten dieser Kennung sind ohne IP-Bestätigung nur Kennungstreffer.
robots.txt-Token	OAI-SearchBot
IP-Liste veröffentlicht	ja: https://openai.com/searchbot.json (Stand der Liste 02.01.2026, abgerufen am 08.09.2026) JSON (ipv4Prefix)
IP-Verifikation	Abgleich der Absender-IP gegen die veröffentlichte Liste (Stand der Liste 02.01.2026, abgerufen am 08.09.2026)
beachtet robots.txt (dokumentiert)	ja, laut Dokumentation OpenAI empfiehlt, OAI-SearchBot in robots.txt zuzulassen, damit Seiten in der ChatGPT-Suche erscheinen.
Treffer mit dieser Kennung auf patrickstolp.de (07.–08.09.2026)	0 von 17 Kennungstreffern IP-verifiziert; 14 der 17 mit Scanner-Mustern (überlappende Zählung); dazu 22 Abrufe aus der veröffentlichten IP-Liste ohne lesbare Kennung Scanner-Muster werden über alle Kennungstreffer gezählt, nicht nur über die IP-verifizierten.
Wirkung des Blockierens	Trainingsabruf Keine dokumentierte Wirkung. Training läuft über GPTBot. Suchabruf Gesperrte Websites erscheinen laut OpenAI nicht in den Suchantworten von ChatGPT und werden dort nicht als Quelle zitiert. Ausnahme laut Publisher-FAQ: URL und Titel können aus anderen Quellen weiterhin als Navigationslink auftauchen; für deren Ausschluss verweist OpenAI auf noindex, das eine abrufbare Seite voraussetzt. Nutzerabruf Keine dokumentierte Wirkung.
Primärquelle	Overview of OpenAI Crawlers
geprüft am	08.09.2026

Wie erkennst Du OAI-SearchBot in Deinen Logs?

Gehe bei der Prüfung am besten direkt von der veröffentlichten Betreiberliste aus und gleiche die Absender-IP ab, statt Dich nur auf den User-Agent zu verlassen. Halte dabei den Stand der IP-Liste fest, damit Deine Auswertung später nachvollziehbar bleibt. Ebenso wichtig ist ein Blick darauf, wie Dein Webserver oder Logwerkzeug lange Zeichenketten speichert. Die vollständige Kennung von OAI-SearchBot ist 179 Zeichen lang. Schneidet ein Werkzeug den User-Agent vorzeitig ab und hängt etwa drei Punkte an, kann der eigentliche Name des Bots in der Logzeile vollständig fehlen.

Dass in der Praxis beide Fehlerrichtungen vorkommen, hat meine Auswertung der Zugriffslogs von patrickstolp.de für den 7. und 8. September 2026 gezeigt. Zunächst habe ich 17 Abrufe mit dem Namen OAI-SearchBot im User-Agent gefunden. Keine einzige Absenderadresse stammte jedoch aus OpenAIs veröffentlichter Liste, und bei 14 dieser Zugriffe wurden obendrein typische Scanner-Pfade wie /.env.production abgefragt. Umgekehrt kamen 22 Abrufe tatsächlich aus OpenAIs Adressbereichen, allerdings ohne lesbaren Bot-Namen: Das Logwerkzeug meines Hosters (log-cat bei Strato) hatte den User-Agent nach 128 Zeichen abgeschnitten, während der Name OAI-SearchBot erst bei Zeichen 132 beginnt. Sieben dieser 22 Abrufe stammten aus IP-Netzen, die OpenAI zugleich für GPTBot führt. Da der sichtbare Anfang der Kennung aber exakt zum Aufbau von OAI-SearchBot passte und GPTBot im selben Log mit anderer Zeichenfolge vollständig auftauchte, habe ich auch diese Zugriffe OAI-SearchBot zugeordnet.

Eigene Beobachtung: Zugriffslogs von patrickstolp.de, 07.–08.09.2026

Der IP-Abgleich vergleicht die Absender-IP mit den veröffentlichten Listen der Betreiber, abgerufen am 08.09.2026. Abrufe, bei denen der Hoster den User-Agent gekürzt hat und der Name deshalb fehlt, ordnet die Auswertung über die IP-Liste zu und zählt sie getrennt von den Zugriffen mit Namen. Zugriffe auf typische Scan-Ziele wie /.aws/credentials oder /.env werden zusätzlich gezählt und überschneiden sich mit den übrigen Gruppen. Solche Pfade allein beweisen keine gefälschte Kennung. 2.578 Logzeilen an 2 Tagen. Es werden keine IP-Adressen ausgegeben.

Zeitraum	07.–08.09.2026
Treffer mit Kennung OAI-SearchBot	17
IP-Abgleich	0 von 17
mit Scanner-Pfaden (überlappende Zählung über alle Kennungstreffer)	14
eindeutige Absender-IPs	1 (nur gezählt)
Statuscodes	2xx 0 · 3xx 4 · 4xx 3 · 5xx 0 · sonstige/fehlend 10
Abrufe von /robots.txt	0
Abrufe von /llms.txt	0
Treffer auf Pfade, die im gespeicherten robots.txt-Stand gesperrt sind	0
häufigste Pfade (nur IP-verifiziert)	–
Abrufe aus der veröffentlichten IP-Liste ohne lesbare Kennung	22 (alle mit gekürztem User-Agent) · an 2 Tagen · 13 Absender-IPs (nur gezählt)
Statuscodes dieser Abrufe	2xx 14 · 3xx 4 · 4xx 1 · 5xx 0 · sonstige/fehlend 3
davon Abrufe von /robots.txt und /llms.txt	/robots.txt 13 · /llms.txt 0
häufigste Pfade dieser Abrufe	/robots.txt (13) / (3) /hidden-champions-luebeck-ki-sichtbarkeit/ (1) /hidden-champions-luebeck-ki-sichtbarkeit/feed/ (1) /wp-json/wp/v2/posts/917 (1)

Die Zahlen beschreiben Zugriffe auf eine einzelne Website. Sie zeigen weder, wie häufig die Bots im gesamten Web auftreten, noch ob abgerufene Inhalte in KI-Antworten verwendet wurden. Der robots.txt-Abgleich nutzt einen gespeicherten Stand; daraus lässt sich kein damaliger Regelverstoß ableiten. Ausgewertet am 13.10.2026.

Hätte ich mich allein auf den Namen im User-Agent verlassen, hätte ich 17 nicht bestätigte Zugriffe OpenAI zugeschrieben und 22 tatsächliche Abrufe übersehen. In der ersten Fassung dieser Seite vom 8. September 2026 hatte ich OAI-SearchBot wegen der abgeschnittenen Kennungen noch keinen bestätigten Abruf zuordnen können; das habe ich am 13. Oktober 2026 korrigiert. Von den 22 echten Abrufen galten 13 der Datei robots.txt, die übrigen betrafen reguläre Seiten und Schnittstellen. In der Crawler-Auswertung führe ich Kennungstreffer und per IP bestätigte Zugriffe deshalb konsequent getrennt.

Wie erlaubst oder sperrst Du den Suchabruf?

Wenn keine passende robots.txt-Regel den Abruf ausschließt, brauchst Du keine zusätzliche Freigabe. Für eine vollständige Sperre lautet die Gruppe:

User-agent: OAI-SearchBot
Disallow: /

Wenn Du stattdessen ausschließlich /artikel/ freigeben möchtest:

User-agent: OAI-SearchBot
Allow: /artikel/
Disallow: /

Die längere passende Regel erlaubt Abrufe unter /artikel/. Beachte dabei: Eine eigene Bot-Gruppe übernimmt nicht zusätzlich die Regeln der Stern-Gruppe. Benötigte Ausnahmen und Pfadsperren gehören deshalb in die passende Gruppe. Das folgt aus RFC 9309, Abschnitte 2.2.1 und 2.2.2.

Prüfe im robots.txt-Tester die vollständige Datei mit einem erlaubten und einem ausgeschlossenen Beispielpfad. Eine dort bestätigte Freigabe sagt noch nichts darüber aus, ob beispielsweise Deine Firewall den tatsächlichen Abruf zulässt.

Was bewirkt eine Sperre in der ChatGPT-Suche?

OpenAI schließt gesperrte Websites aus Suchantworten aus, lässt aber Navigationslinks als Ausnahme zu. Für die Anpassung nach einer robots.txt-Änderung nennt die Dokumentation ungefähr 24 Stunden. Das ist keine Zusage, dass jede sichtbare Spur einer Website zu einem festen Zeitpunkt verschwindet.

Die Publisher-FAQ beschreibt für ChatGPT Atlas einen konkreten Fall: Stammt eine URL aus einer anderen Quelle, können weiterhin Titel und Link erscheinen. Für deren Ausschluss verweist OpenAI auf noindex. Damit der Crawler diese Anweisung lesen kann, muss die betreffende Seite abrufbar bleiben.

Abrufsperre und Ausschluss aus einer Darstellung lösen also unterschiedliche Aufgaben. Die Referenz zur Inhaltssteuerung ordnet die Einstellungen ein.

Garantiert eine Freigabe einen Quellenlink?

Mit einer Freigabe schaffst Du zunächst die Möglichkeit des Abrufs. Ob die Seite anschließend als Quelle ausgewählt wird, ist damit noch nicht entschieden. Für die Bewertung würde ich deshalb eine erlaubte Regel, einen tatsächlich bestätigten Zugriff und einen sichtbaren Quellenlink getrennt erfassen. Nur am Quellenlink in der konkreten Antwort lässt sich die Zitation unmittelbar feststellen.

David Konitzny beschreibt diesen Unterschied in seiner Untersuchung von ChatGPT Deep Research vom 22. Juni 2026: In den aufgezeichneten Sitzungen wurden mehr Seiten gelesen als zitiert. Die Untersuchung betrifft Deep Research in der beobachteten Fassung und liefert keine allgemeine Zitatwahrscheinlichkeit für freigegebene Websites.

Die anderen OpenAI-Abrufarten

• GPTBot: OpenAIs Trainingscrawler und seine Steuerung

  Ruft Webinhalte ab, die OpenAI für das Training seiner Modelle verwenden kann.

  Token GPTBot · Trainingsabruf

• ChatGPT-User: OpenAIs Nutzerabruf und seine Grenzen

  Ruft einzelne Seiten ab, wenn eine Person in ChatGPT oder einer Custom GPT eine Frage stellt oder eine URL einfügt. Kein automatisches Crawling.

  Token ChatGPT-User · Nutzerabruf