Zwei Sorten Bots, zwei völlig verschiedene Folgen

Ein KI-Anbieter schickt nicht einen Bot, sondern mehrere, und sie haben verschiedene Aufgaben. Die einen sammeln Material, um ein Modell zu trainieren. Die anderen holen Inhalte in dem Moment, in dem ein Nutzer eine Frage stellt, und entscheiden mit, wer in der Antwort als Quelle erscheint. Diese zweite Sorte ist Ihr Draht in die KI-Antwort.

Wer einen Trainings-Bot aussperrt, hält sein Material aus künftigen Modellen heraus. Das kann man wollen, der Schaden für die heutige Sichtbarkeit ist gering. Wer dagegen einen Zitier-Bot aussperrt, nimmt sich selbst aus dem Spiel. OpenAI formuliert das in der eigenen Dokumentation unmissverständlich:

“Seiten, die den OAI-SearchBot ausschließen, werden in den Suchantworten von ChatGPT nicht angezeigt.”

OpenAI, Entwickler-Dokumentation (aus dem Englischen)

Anthropic sagt dasselbe für seinen Zitier-Bot Claude-SearchBot: Ihn zu blockieren könne die Sichtbarkeit und Genauigkeit in den Claude-Antworten verringern. Das Problem ist, dass die wenigsten Betreiber diese Unterscheidung überhaupt treffen. Sie sperren pauschal und wissen nicht, auf welcher Seite der Linie sie gerade stehen.

Wer ist wer? Die wichtigsten KI-Bots auf einen Blick

Bot Anbieter Aufgabe Blockieren bedeutet
GPTBot OpenAI Training kein Sichtbarkeitsverlust
OAI-SearchBot OpenAI Zitate in ChatGPT-Suche weg aus den ChatGPT-Antworten
ClaudeBot Anthropic Training kein Sichtbarkeitsverlust
Claude-SearchBot Anthropic Zitate in Claude weniger sichtbar in Claude
Google-Extended Google Training für Gemini kein Einfluss auf Google-Suche
PerplexityBot Perplexity Zitate in Perplexity keine Nennung in Perplexity
CCBot Common Crawl offener Trainingsdatensatz kein direkter Sichtbarkeitsverlust
Bytespider ByteDance Training kein Verlust für westliche Anbieter

Die Logik dahinter ist überschaubar. Die Trainings-Bots in der Liste dürfen Sie sperren, wenn Sie nicht möchten, dass Ihr Material in fremde Modelle einfließt. Die Zitier-Bots, OAI-SearchBot, Claude-SearchBot und PerplexityBot, sollten Sie durchlassen, sofern Sie in den KI-Antworten überhaupt vorkommen wollen. Google-Extended ist ein Sonderfall: Es steuert nur die Gemini-Trainingsnutzung und berührt Ihr normales Google-Ranking nicht.

Die Falle, in der Sie womöglich schon sitzen

Seit Juli 2025 hat sich die Lage verschärft, und zwar still. Ein großer Infrastruktur-Anbieter, über den ein erheblicher Teil des Web-Traffics läuft, blockiert KI-Crawler seither bei neuen Kunden standardmäßig. Wer nichts konfiguriert, sperrt damit beide Sorten aus, auch die Zitier-Bots. Die Entscheidung gegen die eigene KI-Sichtbarkeit fällt so, ohne dass sie jemand bewusst getroffen hätte.

Dazu kommt ein zweites, unbequemes Detail. Die klassische Sperrdatei robots.txt, mit der man Bots den Zutritt verwehrt, ist kein verlässlicher Riegel mehr. Untersuchungen zeigen, dass ein wachsender Teil der KI-Anfragen diese Vorgaben schlicht ignoriert. Wer wirklich aussperren will, etwa ein Verlag, der seine Inhalte schützt, braucht dafür Sperren auf Netzwerkebene. Wer dagegen sichtbar sein will, muss aktiv dafür sorgen, dass die Zitier-Bots durchkommen.

Warum gerade die seriösen Seiten sich selbst aussperren

Es gibt eine Beobachtung, die zu denken gibt. Zwei von drei der angesehensten Nachrichtenseiten blockieren inzwischen KI-Bots, während ein Großteil der zweifelhaften Seiten alle Tore offen lässt. Eine wissenschaftliche Untersuchung vom Herbst 2025 zog daraus den naheliegenden Schluss: Wenn die verlässlichen Quellen dichtmachen und die unzuverlässigen offen bleiben, lernen und zitieren die KI-Dienste zwangsläufig stärker aus der schlechteren Hälfte des Netzes.

Für Sie als Unternehmen heißt das: Wenn Sie kein Verlag mit Lizenzinteressen sind und keine besonderen Schutzbedürfnisse haben, arbeiten Sie mit jedem gesperrten Zitier-Bot gegen sich selbst. Sie überlassen den Platz in der Antwort jemandem, der weniger zu bieten hat, aber seine Türen offen gelassen hat.

Ein Blick in Ihre Sperren, bevor Sie an Sichtbarkeit denken

Bevor man Zeit in KI-Sichtbarkeit investiert, lohnt die Kontrolle, ob die eigene Seite die Zitier-Bots überhaupt hereinlässt. Erstaunlich oft liegt genau hier das stille Problem. Ich sehe mir an, welche Bots Ihre Seite heute erreichen und welche vor verschlossener Tür stehen. Reden wir.

Häufige Fragen

Sollte ich KI-Crawler auf meiner Website blockieren?

Das hängt vom Bot ab. Trainings-Bots wie GPTBot oder ClaudeBot können Sie blockieren, wenn Sie nicht möchten, dass Ihr Material in fremde Modelle einfließt, ohne kurzfristige Sichtbarkeitsfolgen. Zitier-Bots wie OAI-SearchBot oder PerplexityBot sollten Sie durchlassen, sonst verschwinden Sie aus den KI-Antworten.

Was ist der Unterschied zwischen Trainings- und Zitier-Bots?

Trainings-Bots sammeln Material, um KI-Modelle zu trainieren. Zitier-Bots holen Inhalte im Moment einer Nutzerfrage und entscheiden mit, wer in der Antwort als Quelle genannt wird. Ein Trainings-Bot zu sperren betrifft künftige Modelle, ein Zitier-Bot zu sperren betrifft Ihre heutige Sichtbarkeit.

Schadet Google-Extended meinem Google-Ranking, wenn ich es blockiere?

Nein. Google-Extended steuert nur, ob Ihre Inhalte für das Training von Gemini genutzt werden. Es ist von der normalen Google-Suche getrennt. Sie können es blockieren, ohne Ihr Ranking oder Ihre Indexierung in der klassischen Suche zu gefährden.

Reicht robots.txt, um KI-Bots auszusperren?

Nicht zuverlässig. Untersuchungen zeigen, dass ein wachsender Teil der KI-Anfragen die Vorgaben in robots.txt ignoriert. Wer wirklich aussperren will, braucht Sperren auf Netzwerkebene. robots.txt eignet sich gut, um Bots gezielt durchzulassen, weniger als sicherer Riegel.

Woran erkenne ich, ob ich mich versehentlich ausgesperrt habe?

Häufig liegt es an Standardeinstellungen. Seit Mitte 2025 blockieren manche Schutzdienste KI-Bots bei neuen Seiten automatisch, auch die Zitier-Bots. Ein Blick in Ihre robots.txt und in die Konfiguration Ihres Schutzdiensts zeigt, welche Bots derzeit abgewiesen werden.

Ich bin ein kleines Unternehmen, kein Verlag. Was soll ich tun?

In aller Regel die Zitier-Bots durchlassen. Pauschales Blockieren bringt Ihnen ohne Lizenzinteressen keinen Vorteil, kostet Sie aber Sichtbarkeit in den KI-Antworten. Die Trainings-Bots können Sie sperren, wenn Sie das möchten. Das ist eine Haltungsfrage. An der Sichtbarkeit ändert sich dadurch kaum etwas.

Alle Beiträge