GPTBot: Was der OpenAI-Crawler macht und wie du ihn steuerst

Der GPTBot ist der Webcrawler, mit dem OpenAI öffentliche Inhalte für das Training seiner Sprachmodelle sammelt. Seit OpenAI ihn im August 2023 vorgestellt hat, steht jede Website vor derselben Frage: Lässt du den Crawler rein oder sperrst du ihn per robots.txt aus? Dieser Leitfaden zeigt dir, was der Crawler tatsächlich tut, wie er sich von OAI-SearchBot und ChatGPT-User unterscheidet und wie du eine Entscheidung triffst, die zu deinem Geschäftsmodell passt.

Was ist GPTBot?

GPTBot ist ein automatisierter Crawler von OpenAI. Er ruft öffentlich zugängliche Seiten ab und sammelt Inhalte, die für das Training generativer Foundation-Modelle genutzt werden können. So beschreibt es OpenAI in seiner offiziellen Dokumentation zu den OpenAI-Crawlern.

Wichtig für dich: GPTBot ist kein Suchmaschinen-Crawler im klassischen Sinn. Er entscheidet nicht darüber, ob deine Seite in der Suchfunktion von ChatGPT erscheint. Dafür ist ein anderer Bot zuständig. Wer ihn sperrt, signalisiert OpenAI lediglich, dass die eigenen Inhalte nicht in künftige Trainingsdaten einfließen sollen.

Du erkennst den Crawler an seinem User-Agent. Laut OpenAI-Doku enthält er die Kennung GPTBot/1.4 und einen Verweis auf openai.com/gptbot. Die Versionsnummer kann sich ändern, deshalb solltest du in Regeln und Filtern immer nur auf das Token ohne Versionsnummer prüfen.

So arbeitet der Crawler

Technisch verhält sich der Bot wie ein gewöhnlicher Crawler. Er liest zuerst deine robots.txt, folgt dann Links und ruft HTML-Seiten ab. Laut OpenAI kann beim Abruf der robots.txt ein zusätzlicher Marker im User-Agent stehen. Das hilft dir später bei der Auswertung deiner Logfiles.

OpenAI veröffentlicht außerdem die IP-Bereiche des Crawlers als maschinenlesbare Liste unter openai.com/gptbot.json. Damit kannst du prüfen, ob ein Zugriff wirklich von OpenAI stammt oder ob sich nur jemand als OpenAI-Crawler ausgibt.

GPTBot, OAI-SearchBot und ChatGPT-User im Vergleich

OpenAI betreibt inzwischen mehrere Bots mit klar getrennten Aufgaben. Viele Website-Betreiber werfen sie in einen Topf und sperren versehentlich mehr, als sie wollen. Die offizielle Doku unterscheidet vier Agenten:

• GPTBot: sammelt Inhalte, die für das Training von Modellen genutzt werden können. Ein Disallow signalisiert, dass deine Inhalte nicht ins Training einfließen sollen.
• OAI-SearchBot: macht Websites in den Suchfunktionen von ChatGPT auffindbar. Gesperrte Seiten erscheinen nicht in ChatGPT-Suchantworten, können aber weiterhin als reine Navigationslinks auftauchen.
• ChatGPT-User: ruft Seiten ab, wenn eine Person in ChatGPT oder in einem Custom GPT eine Aktion auslöst, etwa eine Frage, die einen Seitenbesuch erfordert. Er crawlt nicht automatisch. Weil der Abruf von einem Menschen ausgeht, gelten robots.txt-Regeln laut OpenAI möglicherweise nicht.
• OAI-AdsBot: prüft Landingpages, die als Anzeige in ChatGPT eingereicht wurden, auf Sicherheit und Richtlinien. Die Daten fließen laut OpenAI nicht ins Modelltraining.

Die entscheidende Botschaft der Doku: Die Einstellungen für Trainings-Crawler und OAI-SearchBot sind unabhängig voneinander. Du kannst also die Sichtbarkeit in der ChatGPT-Suche erlauben und gleichzeitig das Training untersagen. Erlaubst du beide, kann OpenAI einen einzelnen Crawl für beide Zwecke nutzen.

Für deine Strategie heißt das: Wer in ChatGPT als Quelle auftauchen will, braucht vor allem einen offenen Zugang für OAI-SearchBot. Wie du dort als Quelle überhaupt in Frage kommst, erklären wir ausführlich im Beitrag zu ChatGPT SEO und Sichtbarkeit in ChatGPT.

GPTBot in der robots.txt steuern

Die robots.txt ist das zentrale Werkzeug, um KI-Crawler zu steuern. Sie liegt im Hauptverzeichnis deiner Domain und gilt jeweils nur für den Host, unter dem sie erreichbar ist. Subdomains brauchen eine eigene Datei.

Beachte eine Grenze: Die robots.txt ist eine Bitte, keine technische Sperre. Seriöse Crawler halten sich laut Anbieter daran. Wer Inhalte wirklich schützen muss, braucht einen Login, eine Paywall oder serverseitige Zugriffsregeln.

Beispiel 1: den Trainings-Crawler komplett sperren

Mit diesen zwei Zeilen untersagst du dem Bot den Zugriff auf deine gesamte Website:

User-agent: GPTBot
Disallow: /

Beispiel 2: Training sperren, ChatGPT-Suche erlauben

Diese Variante wählen viele Publisher. Sie halten ihre Inhalte aus dem Training heraus, bleiben aber in der ChatGPT-Suche sichtbar:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Laut OpenAI kann es bei Suchergebnissen etwa 24 Stunden dauern, bis eine Änderung an der robots.txt wirkt. Plane also etwas Puffer ein, bevor du Effekte bewertest.

Beispiel 3: nur Teilbereiche freigeben

Du kannst den Crawler auch gezielt auf bestimmte Verzeichnisse lenken. Das ergibt Sinn, wenn dein Magazin offen sein soll, Mitgliederbereiche oder Preislisten aber nicht:

User-agent: GPTBot
Allow: /magazin/
Disallow: /mitglieder/
Disallow: /preise/

Ein häufiger Fehler: Eine globale Regel für User-agent: * greift nicht mehr, sobald es einen eigenen Block für einen bestimmten Bot gibt. Der Crawler folgt dann nur der spezifischen Gruppe. Kopiere wichtige Sperren daher in jeden Bot-Block, den du anlegst.

GPTBot erlauben oder sperren? Die Abwägung

Eine pauschal richtige Antwort gibt es nicht. Die Entscheidung hängt davon ab, womit du Geld verdienst und welche Rolle KI-Assistenten für deine Zielgruppe spielen. Diese Argumente solltest du gegeneinander abwägen.

Gründe für einen offenen Zugang

• Markenwissen im Modell: Was ein Modell im Training über deine Marke, deine Produkte und deine Fachbegriffe lernt, kann in Antworten auftauchen, auch ohne Live-Suche.
• Reichweite statt Exklusivität: Für Unternehmen, die über Inhalte Vertrauen und Leads aufbauen, ist breite Verbreitung oft wertvoller als Kontrolle über jeden Absatz.
• Geringer Aufwand: Ein offener Zugang erfordert keine Pflege und keine Sonderregeln.

Gründe für eine Sperre

• Exklusive Inhalte als Produkt: Verlage, Datenanbieter und Fachdienste verkaufen ihr Wissen. Fließt es ins Training, verlieren sie unter Umständen einen Teil ihres Werts.
• Rechtliche Position: Viele Rechteinhaber sperren Trainings-Crawler, um ihre Verhandlungsposition bei Lizenzfragen zu wahren. Die Rechtslage zum KI-Training ist in mehreren Ländern noch umstritten.
• Serverlast: Auf großen Websites können intensive Crawler spürbare Last erzeugen.

Ein pragmatischer Mittelweg

Für die meisten Unternehmenswebsites, Shops und B2B-Anbieter lohnt sich eine einfache Faustregel: OAI-SearchBot und vergleichbare Such-Bots bleiben offen, weil sie direkt über Sichtbarkeit in KI-Antworten entscheiden. Bei GPTBot und anderen Trainings-Crawlern triffst du eine bewusste Grundsatzentscheidung im Team, idealerweise gemeinsam mit Rechtsabteilung und Content-Verantwortlichen.

Vier Fragen für deine Entscheidung

Wenn du im Team diskutierst, helfen dir diese Leitfragen, die Debatte zu versachlichen:

1. Verkaufst du Inhalte oder nutzt du sie als Marketing? Wer Wissen als Produkt anbietet, hat mehr zu verlieren als ein Shop, dessen Ratgeber Kunden gewinnen sollen.
2. Wie wichtig sind KI-Assistenten für deine Zielgruppe? Recherchieren deine Kunden Produkte und Anbieter bereits über ChatGPT, Claude oder Perplexity, wiegt Sichtbarkeit schwerer.
3. Gibt es sensible Bereiche? Preislisten, interne Dokumente oder Kundendaten gehören ohnehin hinter einen Login, nicht nur hinter eine robots.txt-Regel.
4. Wer verantwortet die Regeln? Lege fest, wer die Datei pflegt, neue Bots bewertet und Änderungen dokumentiert. Sonst entstehen Widersprüche zwischen SEO, IT und Rechtsabteilung.

Was eine Sperre nicht leistet

Eine neue Disallow-Regel wirkt nur nach vorn. Sie verhindert künftige Abrufe, holt aber keine Inhalte aus Modellen zurück, die bereits trainiert wurden. Anthropic formuliert das in seiner Dokumentation ausdrücklich so, dass eine Sperre künftiges Material betrifft.

Ebenso wenig schützt dich die Datei vor Scrapern, die sich an keine Regeln halten. Sie richtet sich an seriöse Anbieter. Gegen aggressive Bots helfen nur technische Maßnahmen wie Rate-Limits, Bot-Management im CDN oder eine Web Application Firewall.

Wie Sichtbarkeit in KI-Antworten insgesamt entsteht und warum manche Marken häufiger empfohlen werden, liest du im Artikel zur KI-Sichtbarkeit deiner Marke.

Andere KI-Crawler, die du kennen solltest

OpenAI ist nur einer von vielen Anbietern mit eigenen Crawlern. Wenn du eine Strategie für OpenAI festlegst, solltest du die wichtigsten anderen Anbieter gleich mitdenken. Die folgenden Namen stammen aus den offiziellen Dokumentationen der Anbieter.

Google-Extended

Google-Extended ist kein eigener Crawler, sondern ein Steuerungs-Token. Google crawlt weiterhin mit seinen bekannten User-Agents. Über Google-Extended legst du fest, ob diese Inhalte für das Training künftiger Gemini-Modelle und für das Grounding in Gemini Apps genutzt werden dürfen.

Laut Google Search Central beeinflusst Google-Extended weder die Aufnahme in die Google-Suche noch das Ranking. Zu den AI Overviews macht die Seite keine Aussage; diese gehören zur normalen Google-Suche und hängen am Googlebot.

ClaudeBot, Claude-SearchBot und Claude-User

Anthropic trennt ähnlich wie OpenAI. ClaudeBot sammelt Inhalte, die zum Training beitragen können. Claude-SearchBot indexiert Inhalte für die Suchantworten von Claude. Claude-User ruft Seiten ab, wenn eine Nutzerfrage das erfordert. Anthropic dokumentiert das in seinem Hilfeartikel zum Crawling und unterstützt dort ausdrücklich auch die nicht standardisierte Anweisung Crawl-delay.

PerplexityBot und Perplexity-User

PerplexityBot macht Websites in den Suchergebnissen von Perplexity auffindbar und wird laut Perplexity nicht für das Training von Foundation-Modellen genutzt. Perplexity-User ruft Seiten bei einer konkreten Nutzerfrage ab und ignoriert die robots.txt laut Anbieter in der Regel, weil ein Mensch den Abruf auslöst.

CCBot

CCBot ist der Crawler der gemeinnützigen Organisation Common Crawl. Ihr offenes Webarchiv dient vielen Forschungsprojekten und KI-Entwicklern als Datenbasis. Wer Trainingsnutzung grundsätzlich vermeiden will, sperrt CCBot deshalb oft gleich mit.

Beispiel: Training sperren, KI-Suche erlauben

Eine robots.txt, die Trainings-Crawler ausschließt und Such-Bots zulässt, könnte so aussehen:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Ergänzend zur robots.txt testen viele Websites die Datei llms.txt, die KI-Systemen eine kuratierte Übersicht der wichtigsten Inhalte bietet. Was sie leisten kann und wo ihre Grenzen liegen, erklärt unser Beitrag zur llms.txt für KI-Lesbarkeit.

GPTBot in den Server-Logs prüfen

Eine Regel in der robots.txt ist schnell geschrieben. Ob sie wirkt, siehst du erst in deinen Server-Logs. Dort steht jeder Zugriff mit Zeitstempel, IP-Adresse, angefragter URL, Statuscode und User-Agent.

So findest du den Crawler im Access-Log

Auf einem Linux-Server genügt oft ein einfacher Befehl, um alle Zugriffe des Crawlers herauszufiltern:

grep "GPTBot" /var/log/nginx/access.log | tail -n 50

Für einen Überblick, welche Seiten der Bot am häufigsten abruft, kannst du die URLs zählen lassen:

grep "GPTBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

Pfad und Feldnummer hängen von deinem Webserver und Logformat ab. Wenn du keinen Shell-Zugang hast, bieten viele Hoster eine Log-Ansicht im Kundenmenü. Auch Logfile-Analyse-Tools aus dem SEO-Bereich filtern nach User-Agents.

Echte Zugriffe verifizieren

Jeder kann einen beliebigen User-Agent senden. Prüfe deshalb, ob die IP-Adresse eines vermeintlichen OpenAI-Zugriffs in der von OpenAI veröffentlichten Liste gptbot.json liegt. Für OAI-SearchBot und ChatGPT-User gibt es eigene Listen. Anthropic und Perplexity stellen vergleichbare Dateien bereit.

Woran du Probleme erkennst

• Keine Zugriffe trotz Freigabe: Prüfe Firewall, Bot-Schutz und CDN. Manche Sicherheitsdienste blockieren KI-Crawler standardmäßig, bevor die robots.txt überhaupt eine Rolle spielt.
• Zugriffe trotz Sperre: Prüfe die Schreibweise in der robots.txt und ob der Zugriff wirklich aus den offiziellen IP-Bereichen stammt.
• Viele Fehlercodes: Häufen sich 403- oder 5xx-Antworten für KI-Crawler, verlierst du Sichtbarkeit, ohne es bewusst entschieden zu haben.

Die Logs zeigen dir nur, wer crawlt. Ob aus KI-Systemen auch Besucher kommen, misst du in der Webanalyse. Wie das in Google Analytics funktioniert, liest du im Beitrag zu KI-Traffic in GA4.

Typische Fehler beim Umgang mit KI-Crawlern

In der Praxis entstehen die meisten Probleme durch Missverständnisse. Diese Fehler solltest du vermeiden:

• GPTBot mit der ChatGPT-Suche verwechseln: Wer den Trainings-Crawler sperrt, um „ChatGPT auszusperren“, erreicht das nicht. Wer OAI-SearchBot sperrt, verliert dagegen Sichtbarkeit in der ChatGPT-Suche.
• Regeln per Copy-and-paste übernehmen: Viele robots.txt-Vorlagen aus dem Netz enthalten veraltete oder erfundene Bot-Namen. Halte dich an die Dokumentationen der Anbieter.
• IP-Sperren statt robots.txt: Anthropic weist darauf hin, dass reine IP-Blockaden unzuverlässig sein können, weil der Bot dann deine robots.txt nicht mehr lesen kann.
• Einmal einrichten und vergessen: Anbieter führen neue Bots ein und ändern User-Agent-Versionen. Prüfe deine Regeln mindestens einmal pro Quartal.

Wie sich KI-Suchsysteme insgesamt unterscheiden und welche Inhalte dort gut funktionieren, fasst unser Überblick zu KI-Suchmaschinen zusammen.

Fazit

GPTBot ist ein Trainings-Crawler. Wer ihn sperrt, entscheidet über die Nutzung seiner Inhalte im Modelltraining, nicht über die Sichtbarkeit in der ChatGPT-Suche. Diese Trennung ist der wichtigste Punkt, den du aus der OpenAI-Dokumentation mitnehmen solltest.

Für die meisten Unternehmen lautet die sinnvolle Reihenfolge deshalb: Such-Bots wie OAI-SearchBot, Claude-SearchBot und PerplexityBot offen halten, über Trainings-Crawler bewusst entscheiden und die Wirkung in den Server-Logs kontrollieren. So behältst du die Kontrolle, ohne dich aus den KI-Antworten deiner Zielgruppe zu verabschieden.

Häufige Fragen zu GPTBot

Was ist GPTBot?

GPTBot ist der Webcrawler von OpenAI, der öffentliche Inhalte sammelt, die für das Training von OpenAI-Modellen genutzt werden können. Er ist nicht für die Sichtbarkeit in der ChatGPT-Suche zuständig.

Wie sperre ich GPTBot in der robots.txt?

Trage in deiner robots.txt die Zeilen „User-agent: GPTBot“ und „Disallow: /“ ein. Damit signalisierst du OpenAI, dass deine Inhalte nicht für das Modelltraining genutzt werden sollen.

Verschwinde ich aus ChatGPT, wenn ich GPTBot sperre?

Nein. Für die Suchfunktion von ChatGPT ist laut OpenAI der OAI-SearchBot zuständig. Solange du ihn erlaubst, können deine Seiten weiterhin als Quelle in ChatGPT-Suchantworten erscheinen.

Welcher Unterschied besteht zwischen GPTBot und ChatGPT-User?

GPTBot crawlt automatisch für Trainingszwecke. ChatGPT-User ruft eine Seite nur ab, wenn eine Person in ChatGPT eine Aktion auslöst, und folgt deshalb laut OpenAI nicht zwingend der robots.txt.

Wie erkenne ich echte GPTBot-Zugriffe?

Filtere deine Server-Logs nach dem User-Agent „GPTBot“ und gleiche die IP-Adressen mit der von OpenAI veröffentlichten Liste unter openai.com/gptbot.json ab. Zugriffe von anderen IPs stammen nicht von OpenAI.