robots.txt-Generator für Suchbots und KI-Crawler

Mit dem Generator erstellst Du eine robots.txt und legst für die aufgeführten Bots fest, ob sie Deine Website abrufen dürfen. Suchabrufe, Trainingsabrufe und Nutzerabrufe lassen sich getrennt auswählen. Hinweise im Werkzeug zeigen, wenn ein Eintrag lediglich die Verwendung von Inhalten steuert oder eine Sperre vom Betreiber nicht zugesichert wird.

robots.txt aus Deiner Bot-Auswahl erstellen

Wähle bei den einzelnen Bots „erlauben“ oder „sperren“. Über die Schnellwahl kannst Du eine ganze Abrufart umstellen und anschließend einzelne Entscheidungen anpassen. Die Voreinstellung erlaubt alle aufgeführten Bots.

Für Bots ohne eigene passende Gruppe gilt Deine Auswahl für die übrigen Bots. Ergänze bei Bedarf Pfadsperren, die WordPress-Voreinstellung und die vollständige URL Deiner Sitemap. Mit „robots.txt erzeugen“ erhältst Du die Datei zum Kopieren. Deine Eingaben werden lokal im Browser verarbeitet und nicht übertragen.

Suchabrufe

Schnellwahl

Alle Suchabrufe erlaubenAlle Suchabrufe sperren

• OAI-SearchBotOpenAIerlaubensperren
• Claude-SearchBotAnthropicerlaubensperren
• PerplexityBotPerplexityerlaubensperren
• GooglebotGoogleerlaubensperren
• BingbotMicrosofterlaubensperren
• ApplebotAppleerlaubensperren
• DuckAssistBotDuckDuckGoerlaubensperren
• Amzn-SearchBotAmazonerlaubensperren

Trainingsabrufe

Schnellwahl

Alle Trainingsabrufe erlaubenAlle Trainingsabrufe sperren

• GPTBotOpenAIerlaubensperren
• ClaudeBotAnthropicerlaubensperren
• Google-ExtendedGoogle · nur Steuer-Token, kein eigener User-Agenterlaubensperren
• CCBotCommon Crawlerlaubensperren
• BytespiderByteDance · robots.txt-Zusage: nicht dokumentierterlaubensperren
• Meta-ExternalAgentMetaerlaubensperren
• AmazonbotAmazonerlaubensperren
• Applebot-ExtendedApple · nur Steuer-Token, kein eigener User-Agenterlaubensperren

Nutzerabrufe

Schnellwahl

Alle Nutzerabrufe erlaubenAlle Nutzerabrufe sperren

• ChatGPT-UserOpenAI · robots.txt-Zusage: dokumentiert eingeschränkterlaubensperren
• Claude-UserAnthropicerlaubensperren
• Perplexity-UserPerplexity · robots.txt-Zusage: dokumentiert neinerlaubensperren
• meta-externalfetcherMeta · robots.txt-Zusage: dokumentiert neinerlaubensperren
• Amzn-UserAmazon · robots.txt-Zusage: dokumentiert eingeschränkterlaubensperren

Alle übrigen Botserlauben (Voreinstellung)sperren

Sitemap-URL, eine je Zeile

Zusätzliche Pfadsperren für erlaubte Bots, einer je Zeile

WordPress-Voreinstellung Disallow: /wp-admin/ mit Allow: /wp-admin/admin-ajax.php

robots.txt erzeugenLäuft lokal im Browser. Es wird nichts übertragen.

# Erstellt mit dem robots.txt-Generator von ki-suche-wiki.de, Stand der Bot-Daten: 08.09.2026

# Alle übrigen Bots: erlaubt. Ein leeres Disallow bedeutet keine Einschränkung (RFC 9309 2.2.2); ohne Sperren wäre auch gar keine robots.txt nötig.
User-agent: *
Disallow:

Gegenprüfung des erzeugten Textes mit dem Auswertungskern des robots.txt-Testers, geprüfter Pfad: /.

Bot	Entscheidung	Prüfung mit dem Tester-Kern
GPTBot	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
OAI-SearchBot	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
ChatGPT-User	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
ClaudeBot	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
Claude-User	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
Claude-SearchBot	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
PerplexityBot	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
Perplexity-User	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
Google-Extended	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
CCBot	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
Bytespider	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
Meta-ExternalAgent	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
Amazonbot	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
Applebot-Extended	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
Googlebot	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
Bingbot	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
Applebot	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
DuckAssistBot	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
meta-externalfetcher	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
Amzn-SearchBot	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
Amzn-User	erlauben	Erlaubt, wie gewählt *-Gruppe (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).
Alle übrigen Bots*	erlauben	Erlaubt, wie gewählt Gruppe „*“ (Zeile 4) gilt, aber keine ihrer Regeln passt auf „/“. Ohne passende Regel ist der Abruf erlaubt (RFC 9309 2.2.2).

Die Tabelle unter der Ausgabe prüft für jeden aufgeführten Bot, ob die erzeugten Regeln am Pfad / zur Auswahl passen. Sie prüft damit weder sämtliche Unterseiten noch das tatsächliche Verhalten eines Bots. Einzelne URLs kontrollierst Du anschließend mit dem robots.txt-Tester.

Warum die Datei nicht jeden erlaubten Bot einzeln aufführt

Du musst Bots nicht ausdrücklich einladen, damit sie Deine Website crawlen dürfen. Soweit es um robots.txt geht, ist ein Abruf ohne passende Einschränkung erlaubt. Wenn Du nichts ausschließen möchtest, brauchst Du dafür also keine robots.txt. Eine vorhandene Datei kann trotzdem beispielsweise auf Deine Sitemap hinweisen.

Der Generator gibt bei unveränderter Auswahl und ohne zusätzliche Einstellungen diese beiden Regelzeilen aus:

User-agent: *
Disallow:

Das leere Disallow: schränkt nichts ein. Eine lange Liste mit Allow: / für jeden einzelnen Bot wäre für diese Einstellung überflüssig. Maßgeblich sind die Regeln in RFC 9309, Abschnitte 2.2.1 und 2.2.2.

Eine eigene Gruppe wird relevant, wenn ein Bot anders behandelt werden soll. Angenommen Du möchtest GPTBot sperren und alle übrigen Bots weiterhin zulassen. Ohne weitere Einstellungen ergibt sich, hier ohne die erklärenden Kommentare:

User-agent: GPTBot
Disallow: /

User-agent: *
Disallow:

OpenAI verwendet GPTBot für Inhalte, die für das Modelltraining genutzt werden können. Die Suchfunktion wird separat über OAI-SearchBot gesteuert. Eine GPTBot-Sperre ist deshalb keine gemeinsame Sperre aller OpenAI-Abrufe. Die Zuordnung beschreibt die OpenAI-Botdokumentation.

Was passiert mit Deinen Pfadsperren?

Hat ein Bot eine eigene passende Gruppe, gelten die Regeln aus User-agent: * nicht zusätzlich. Der Generator übernimmt Deine Pfadsperren deshalb auch in eigene Gruppen für erlaubte Bots. So geht eine Einschränkung wie /intern/ nicht allein durch die eigene Gruppe verloren. Die Gruppenauswahl ist auch in Googles Dokumentation erläutert.

Zusätzliche Gruppen können nötig sein, um ähnlich beginnende Tokens auseinanderzuhalten. Solche Fälle kennzeichnet der Generator in den Kommentaren. Prüfe nach eigenen Änderungen an der Ausgabe die betroffenen Bots und Pfade erneut.

Welche Regeln ergänzt die WordPress-Voreinstellung?

Für eine WordPress-Installation mit dem Verwaltungsbereich unter /wp-admin/ ergänzt der Generator:

Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Damit wird der Verwaltungsbereich vom Crawling ausgeschlossen, während die genannte AJAX-Adresse ausgenommen bleibt. Auch WordPress verwendet dieses Muster in seiner standardmäßigen robots.txt-Ausgabe.

Der Generator ermittelt Deinen Installationspfad allerdings nicht. Liegt WordPress in einem Unterverzeichnis, musst Du die Pfade prüfen und gegebenenfalls anpassen. Vorhandene Plugin-Regeln oder andere Einträge Deiner bisherigen Datei werden ebenfalls nicht automatisch übernommen.

Die AJAX-Ausnahme gilt auch dann in der Gruppe für die übrigen Bots, wenn Du diese auf „sperren“ stellst. Für eine vollständige Sperre dieser Gruppe darf die Ausnahme nicht stehen bleiben.

Was bedeutet „sperren“ bei Steuer-Tokens und Nutzerabrufen?

Nicht jeder Eintrag in der Auswahl steht für einen eigenständigen Crawler. Google-Extended besitzt keinen eigenen HTTP-User-Agent. Der Token steuert bestimmte Verwendungen von Inhalten für Training und Grounding in Gemini-Produkten. Applebot-Extended crawlt ebenfalls nicht selbst, sondern steuert die Verwendung der von Applebot erfassten Inhalte für das Modelltraining. Eine Regel für diese Tokens ist daher nicht mit einer Abrufsperre für Googlebot oder Applebot gleichzusetzen.

Bei Nutzerabrufen kann bereits die Befolgung der Regel eingeschränkt sein: OpenAI erklärt, dass robots.txt-Regeln bei ChatGPT-User möglicherweise nicht gelten. Perplexity-User ignoriert sie laut Betreiber in der Regel. „Gesperrt“ in der Gegenprüfung bedeutet hier, dass die Regel entsprechend ausgewertet wird. Es ist keine Bestätigung, dass der Anbieter den Abruf unterlässt.

Wie übernimmst und prüfst Du die fertige Datei?

Vergleiche die Ausgabe zunächst mit Deiner vorhandenen robots.txt. Übernimm weiterhin benötigte Regeln bewusst, statt die alte Datei ungeprüft zu ersetzen.

Die robots.txt muss als UTF-8-Text unter der passenden Adresse erreichbar sein, beispielsweise https://example.de/robots.txt. Ihre Regeln gelten für den jeweiligen Host, das Protokoll und den Port. Die genaue Ablage beschreibt die robots.txt-Dokumentation von Google.

Prüfe im Tester mindestens eine gewünschte Freigabe, einen ausgeschlossenen Pfad und jede ergänzte Ausnahme. Nutze dafür den Inhalt, den Dein Server nach der Änderung tatsächlich unter /robots.txt ausliefert. Eine erfolgreiche Regelprüfung sagt Dir, wie diese Datei ausgewertet wird. Ob Inhalte später in einer KI-Antwort genannt oder verlinkt werden, lässt sich daraus nicht ableiten.