Die Assistenten sind jetzt das Publikum

Fast ein Jahr lang habe ich meinen eigenen Traffic falsch gelesen. Ich schaute auf menschliche Besucher, Suchklicks und Sitzungstiefe und behandelte die Bot-Zeilen in den Logs als Rauschen, das man herausfiltert. Dann habe ich sie tatsächlich zusammengezählt. An einem repräsentativen Tag bediente meine Website etwa 301 menschliche Besucher und rund 19.800 Anfragen von KI-Agenten. Die Agenten haben mich nicht fürs Training abgegrast. Die mit Abstand größte Einzelquelle war ChatGPT, das meine Seiten live abrief, um in genau diesem Moment die Frage eines Menschen zu beantworten. Mein eigentliches Publikum hatte still und leise aufgehört, vorbeizuschauen. Es las mich über einen Assistenten – und der Assistent las mich etwa sechsundsechzigmal häufiger als die Menschen, denen er antwortete. {.answer-block}

Kurzfassung

• An einem repräsentativen Tag der jüngeren Vergangenheit zog meine Website ~301 menschliche Besucher und ~19.800 Anfragen von KI-Agenten an. Das Agentenvolumen im 7-Tage-Mittel liegt bei ~19.850/Tag gegenüber einem 28-Tage-Mittel von ~301 Menschen/Tag – ein Verhältnis nahe 66 zu 1.¹
• Der Großteil dieses Agenten-Traffics stammt nicht von Training-Crawlern. Es ist nutzergesteuerter Live-Abruf: ChatGPT-User mit ~13.100 Anfragen/Tag und Claude-User mit ~2.300 – Agenten, die eine Seite nur deshalb abrufen, weil ein Mensch gerade seinen Assistenten etwas gefragt hat.¹²³
• Die Anbieter ziehen diese Grenze in ihrer eigenen Dokumentation ausdrücklich. OpenAI: „ChatGPT-User is not used for crawling the web in an automatic fashion.” Anthropic: Claude-User ruft ab, „when individuals ask questions to Claude.” Cloudflare formalisiert das als eigenständiges Verhalten Agent, getrennt von Training und Search.²³⁴
• Die Training-Crawler, um die sich alle sorgen, waren im Vergleich ein Rundungsfehler: GPTBot mit 55 Anfragen und ClaudeBot mit 212 am selben Tag.¹²³
• Die praktische Verschiebung: Ihre Inhalte werden zunehmend als Antwortmaterial konsumiert. Der Leser ist ein Mensch, der Ihre Seite nie betritt, und was Sie tatsächlich liest, ist ein Assistent, der Sie im Moment der Frage abruft. Das verändert, was Sie messen, was Sie schreiben – und was „Traffic” überhaupt noch bedeutet.

Die Zahl, die alles neu ordnete

Es handelt sich um eine persönliche Website: technische Guides und Essays, zehn Sprachversionen, ein paar hundert menschliche Besucher am Tag. Ordentlich, nicht viral. Monatelang erzählte mir mein Dashboard eine saubere Geschichte über Suchklicks und Sitzungsdauer, während die Zeilen zu den KI-Agenten in einer Ecke saßen, die ich gedanklich mit „Crawler, ignorieren” beschriftet hatte.

Diese Beschriftung war der Fehler. Als ich die Cloudflare-Edge-Logs endlich in dieselbe Ansicht wie die Analytics für Menschen holte, war das Verhältnis alles andere als knapp. Menschen: etwa 301 pro Tag im 28-Tage-Mittel. KI-Agenten: etwa 19.850 Anfragen pro Tag im 7-Tage-Mittel, und 19.785 an dem einzelnen repräsentativen Tag, den ich nach Quellen aufgeschlüsselt habe.¹ Beide Zeitfenster sind stabil, das Verhältnis hängt also nicht davon ab, welches ich wähle: 19.785 gegen 301 sind 65,7 zu eins, das geglättete 7-Tage-Mittel landet bei 65,9. Nennen wir es sechsundsechzig zu eins.

Ein berechtigter Einwand kommt sofort, und ich will ihn einräumen, bevor er alles andere untergräbt: Diese Einheiten sind nicht identisch. Die 301 sind eindeutige menschliche Besucher. Die 19.800 sind Agentenanfragen, und ein einzelner menschlicher Besuch umfasst ebenfalls mehrere Seitenanfragen. Das heißt also nicht „sechsundsechzigmal mehr Leser”. Näher dran wäre: „Die Assistenten rufen meine Seiten etwa sechsundsechzigmal häufiger ab, als Menschen zum Lesen eintreffen.” Der ehrliche Vergleich weist trotzdem in dieselbe Richtung, denn das Interessante ist nicht der exakte Faktor. Interessant ist, was sich hinter den Agentenanfragen tatsächlich verbarg.

Nicht die Crawler, um die Sie sich Sorgen gemacht haben

Die naheliegende Annahme, meine eingeschlossen, lautet: Eine Wand aus KI-Agenten-Traffic bedeutet Scraper, die Ihre Inhalte fürs Training ins nächste Foundation Model saugen. Das ist die Angst, die hundert robots.txt-Änderungen ausgelöst hat. Meine Logs zeigen etwas anderes.

Hier derselbe repräsentative Tag, aufgeschlüsselt nach User-Agent:¹

Lesen Sie die obersten beiden Zeilen noch einmal. ChatGPT-User und Claude-User machen zusammen mehr als fünfzehntausend der rund zwanzigtausend Agentenanfragen dieses Tages aus. Keiner von beiden ist ein Training-Crawler, und diese Unterscheidung ist nicht meine Auslegung. Die Anbieter dokumentieren sie in klaren Worten.

In OpenAIs Bot-Dokumentation heißt es, OpenAI setze ChatGPT-User „for certain user actions in ChatGPT and Custom GPTs” ein; wenn Nutzer ChatGPT oder einem CustomGPT eine Frage stellen, „it may visit a web page” – und dann unmissverständlich: „ChatGPT-User is not used for crawling the web in an automatic fashion.”² Der eigentliche Massen-Crawler fürs Training ist ein separater Agent: GPTBot, beschrieben als Crawler für „content that may be used in training our generative AI foundation models”.² An meinem repräsentativen Tag stellte GPTBot fünfundfünfzig Anfragen. ChatGPT-User dreizehntausend.

Anthropic zieht dieselbe Grenze. Claude-User „supports Claude AI users. When individuals ask questions to Claude, it may access websites using a Claude-User agent.” ClaudeBot, der Training-Crawler, „helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training.”³ Dasselbe Muster: Der nutzergesteuerte Agent stellt den Training-Crawler in den Schatten, 2.274 zu 212.

Cloudflare, das vor einem großen Teil des Web sitzt und keinen Anreiz hat, irgendeinem Anbieter zu schmeicheln, formalisiert exakt diese Trennung. Die Taxonomie verifizierter Bots ordnet KI-Bots nach Verhalten in eigene Kategorien ein: Agent, „user-directed agents visiting a page on behalf of a human”; Search, „crawling to build search indexes or RAG databases”; und Training, „crawling to train or fine-tune models”.⁴ Das entscheidende Unterscheidungsmerkmal ist die menschliche Veranlassung. Ein Training- oder Such-Bot crawlt autonom, um einen dauerhaften Datenbestand aufzubauen. Ein Agent-Abruf wird pro Anfrage ausgelöst, durch eine menschliche Interaktion, um live eine ganz bestimmte Frage zu beantworten. Mein Traffic besteht ganz überwiegend aus der dritten Kategorie.

Was ein Live-Abruf tatsächlich bedeutet

Bleiben Sie kurz bei der Mechanik, denn sie verändert das mentale Modell vollständig. Wenn ChatGPT-User meine Seite abruft, sieht die Abfolge dahinter so aus: Ein Mensch öffnete einen Assistenten, tippte eine Frage, der Assistent entschied, dass meine Seite die Antwort tragen könnte, rief sie in Echtzeit ab, extrahierte das Nötige und formulierte eine Antwort. Der Mensch bekam sein Ergebnis. Meinen Namen, mein Layout, meine anderen Beiträge oder den kleinen Hinweis unten, der eine meiner Apps empfiehlt, hat er womöglich nie gesehen.

Das ist ein Leser. Nur eben einer, dem ich nie begegne. Der Assistent ist ein Kurier, und meine Analytics haben immer nur den Lieferwagen des Kuriers gesehen – dreizehntausend Fahrten am Tag – und ihn Rauschen genannt.

Diese Umkehrung ist die leise Geschichte unter dem Lärm über KI und Inhalte. Die Debatte um Training-Crawler dreht sich darum, ob Modelle Ihre Arbeit irgendwann einmal in ihre Gewichte aufnehmen. Diese Debatte hat ihre Berechtigung, aber sie ist der falsche Gradmesser, wenn Sie Ihr aktuelles Publikum verstehen wollen. Dieses Publikum erreicht Sie über Agent-Abrufe, fortlaufend, jeder einzelne ausgelöst durch eine menschliche Interaktion, die genau jetzt stattfindet. Jeder ChatGPT-User-Abruf in meinen Logs geht auf einen Menschen zurück, der seinen Assistenten etwas gefragt hat, das meine Seite beantworten konnte – auch wenn eine einzelne Frage mehr als einen Abruf auslösen kann und manche Abrufe nie jemandem zu Gesicht kommen. Die Größenordnung, fünfzehntausend Abrufe am Tag gegen dreihundert menschliche Besuche, sagt: Die Menschen, die meine Inhalte tatsächlich erreichen, sitzen überwiegend auf der anderen Seite eines Assistenten.

Was sich dadurch an der Messung einer Website ändert

Sobald Sie akzeptieren, dass die Assistenten ein echtes Publikum sind, fehlt Ihrem Armaturenbrett plötzlich die wichtigste Anzeige. Standard-Analytics beruht auf der Annahme, dass Lesen auf Ihrer Seite stattfindet: Sitzungen, Scrolltiefe, Verweildauer, das Conversion-Element weiter unten auf der Seite. Nichts davon greift, wenn ein Mensch Sie über Claude liest. Der Assistent scrollt nicht, konvertiert nicht und springt per Definition bei jedem Besuch ab. Wer seine Inhalte allein an der Interaktion auf der Seite misst, für den bleibt das am schnellsten wachsende Publikum statistisch unsichtbar.

Daraus folgen drei Anpassungen, und ich habe mit allen dreien begonnen.

Erstens: Behandeln Sie die Anfrage-Logs von KI-Agenten als Publikumskennzahl, nicht als Sicherheitskennzahl. Ich verfolge das Volumen von ChatGPT-User und Claude-User pro Seite inzwischen genauso wie eindeutige menschliche Besucher, denn diese Zahl ist der beste verfügbare Näherungswert für „Wie oft nutzt ein Assistent diese Seite, um jemandem zu antworten?” Die Seiten, die Agenten am häufigsten abrufen, sind nicht immer die, die Menschen am häufigsten anklicken – und diese Lücke ist ein inhaltliches Signal, das ich bislang weggeworfen habe.

Zweitens: Hören Sie auf, ausschließlich für den Moment auf der Seite zu optimieren. Eine Seite, die ein über die Suche gekommener Mensch überfliegen soll, ist etwas anderes als eine Seite, die ein Assistent beim Beantworten einer Frage sauber extrahieren soll. Die zweite Aufgabe belohnt eine klare, in sich geschlossene Antwort weit oben, eindeutige Aussagen und eine Struktur, die sich ohne das umgebende Beiwerk herauslösen lässt. Deshalb setze ich an den Kopf jedes Beitrags einen direkten Antwortblock. Dieser Block ist für den Kurier ebenso gedacht wie für den Leser.

Drittens: Akzeptieren Sie, dass die Zuordnung schwieriger wird, und messen Sie stattdessen den Schatten, den sie wirft. Den Menschen hinter einem Claude-User-Abruf kann ich nicht sehen. Sichtbar ist ein Signal zweiter Ordnung: Menschen, die bereits von einem Assistenten verwiesen auf meiner Website landen – der kleine Strom derer, die die Antwort gelesen haben, die Quelle wollten und durchgeklickt sind. Neben dem Abrufvolumen ist das ein Rinnsal, neun am Tag gegen fünfzehntausend, aber es ist die sichtbare Spitze des unsichtbaren Publikums, und sein Trend ist die ehrliche Anzeigetafel dafür, ob gutes Antwortmaterial am Ende Menschen zur Quelle zurückschickt.

Die Strategie darunter

Es liegt nahe, das alles als Untergangsszenario für unabhängige Websites zu lesen: Die Assistenten beuten Ihre Inhalte aus, antworten an Ihrer Stelle und behalten den Menschen für sich. Manchmal ist es genau das. Aber die Rahmung ist zu flach, denn sie übergeht, wonach der Abruf eigentlich auswählt.

Ein Assistent ruft Ihre Seite ab, weil er sie im Moment der Frage für die beste verfügbare Quelle zu genau dieser Anfrage gehalten hat. Das ist nicht das alte Suchspiel, in dem man für ein Keyword rankt. Es geht darum, das zu sein, wonach eine Antwortmaschine greift, wenn sie richtigliegen muss. Die Währung sind nicht Backlinks oder Keyword-Dichte, sondern die Fähigkeit, bei etwas, das genug Menschen fragen, nachweislich und abrufbar richtigzuliegen. Eine Seite, die zutrifft, konkret ist und aktuell bleibt, wird abgerufen. Eine Seite mit dünnem, nacherzähltem Allerweltsinhalt nicht – denn den Allerweltsteil kennt das Modell bereits und greift nur dann nach außen, wenn es etwas braucht, das es nicht zuverlässig in sich trägt.

Der Anreiz, den der Agenten-Traffic schafft, deckt sich also ausnahmsweise damit, wirklich gute Seiten zu bauen. Nicht Seiten, die auf einen Ranking-Algorithmus hin konstruiert sind, sondern Seiten, die es wert sind, für eine echte Frage abgerufen zu werden. Die messbare Belohnung hat sich verschoben von „Ist ein Mensch gelandet und hat gescrollt?” hin zu „Hat ein Assistent das hier für die beste Quelle gehalten und einem Menschen daraus geantwortet?” Im zweiten Wettbewerb trete ich lieber an.

Der Standpunkt

Behandeln Sie die Assistenten als Ihr primäres Publikum, denn den Zahlen nach sind sie es längst, und bauen Sie für den Abruf ebenso wie für den Besuch. Der Mensch auf Ihrer Seite ist inzwischen der Minderheitenleser – und oft derjenige, dem es wichtig genug war, nach der Antwort des Assistenten noch die Quelle aufzusuchen. Der Mehrheitsleser ist der Assistent selbst, der Sie live abruft, sobald eine menschliche Frage es verlangt, und dabei Ihre Analytics nie berührt. Das ist kein Crawler-Problem, das man blockiert. Es ist ein Vertriebskanal, den man verstehen sollte, und derzeit der größte, den die meisten Content-Websites haben.

Die Website der nächsten Jahre bemisst sich an zwei Zahlen, nicht an einer. Da ist der Traffic, den Sie sehen können – Menschen auf der Seite –, und da ist der Traffic, den Sie erschließen müssen: Assistenten, die Sie lesen, um Menschen zu antworten, denen Sie nie begegnen werden. Bei mir stehen die beiden etwa sechsundsechzig zu eins zugunsten der Leser, die ich nicht sehe. Ich vermute, bei Ihnen liegt das näher an diesem Wert, als Ihr Dashboard es Ihnen sagt – denn die Zeilen sitzen in genau der Ecke, in der ich meine liegen ließ, beschriftet mit „Rauschen”.

Das Wichtigste in Kürze

• Zählen Sie Anfragen von KI-Agenten als Publikum, nicht als Rauschen. Auf meiner Website übertreffen sie die Zahl menschlicher Seitenzugriffe etwa 66 zu 1, und die Zusammensetzung wiegt schwerer als der Faktor.¹
• Der meiste Agenten-Traffic ist nutzergesteuerter Live-Abruf, kein Training. ChatGPT-User und Claude-User rufen Seiten ab, weil ein Mensch gerade seinen Assistenten etwas gefragt hat; die Anbieter dokumentieren das, und Cloudflare führt es als eigenständiges Agent-Verhalten.²³⁴
• Training-Crawler sind ein kleiner Bruchteil. GPTBot und ClaudeBot kamen zusammen auf unter 300 Anfragen an einem Tag, an dem nutzergesteuerte Agenten über 15.000 stellten.¹²³
• On-Page-Analytics übersieht Ihr am schnellsten wachsendes Publikum. Assistenten scrollen nicht und konvertieren nicht, deshalb machen Engagement-Kennzahlen das Agenten-Publikum unsichtbar; verfolgen Sie stattdessen das Abrufvolumen pro Seite als Näherungswert.
• Schreiben Sie für den Abruf. Beginnen Sie mit einer klaren, in sich geschlossenen Antwort; seien Sie konkret, korrekt und aktuell. Eine Antwortmaschine ruft die Seite ab, die sie im Moment der Frage für die beste Quelle hält – das belohnt echtes Richtigliegen statt Keyword-Optimierung.

FAQ

Worin unterscheiden sich ChatGPT-User und GPTBot?

GPTBot ist OpenAIs Training-Crawler; er sammelt Inhalte, die nach OpenAIs eigener Formulierung „may be used in training our generative AI foundation models”. ChatGPT-User ist ein nutzergesteuerter Agent, der eine Seite abruft, wenn ein Mensch ChatGPT etwas fragt; OpenAI stellt fest, er „is not used for crawling the web in an automatic fashion.”² In meinen Logs liegen zwischen beiden Größenordnungen: ChatGPT-User stellte 13.128 Anfragen an einem Tag, an dem GPTBot 55 stellte.¹

Lesen KI-Assistenten meine Website in Echtzeit?

Wenn Sie Inhalte anbieten, die häufige Fragen beantworten, mit ziemlicher Sicherheit ja. Agenten wie ChatGPT-User, Claude-User und Perplexity-User rufen Seiten live ab, wenn ein Mensch den Assistenten etwas fragt, das die Seite beantworten kann.²³ Sie unterscheiden sich von Training-Crawlern ebenso wie von Suchindex-Crawlern, und auf meiner Website sind sie die dominierende Form des Agenten-Traffics.

Worin unterscheidet sich das von SEO?

Klassisches SEO optimiert darauf, in einer Ergebnisliste zu ranken, die ein Mensch anschließend anklickt. Die Optimierung für Antwortmaschinen zielt darauf, die Quelle zu sein, die ein Assistent abruft und liest, um daraus eine Antwort zu formen – oft ganz ohne Besuch des Menschen. Die Belohnung verlagert sich von Ranking-Signalen hin zu einer Korrektheit, Konkretheit und Aktualität, die ein Modell nach Ihrer Seite greifen lässt, wenn es richtigliegen muss.

Sollte ich KI-Agenten in der robots.txt blockieren?

Das ist eine echte Entscheidung, aber treffen Sie sie pro Verhalten, nicht pauschal. Training-Crawler zu blockieren (GPTBot, ClaudeBot) beeinflusst, ob Ihre Inhalte künftige Modelle trainieren. Nutzergesteuerte Agenten zu blockieren (ChatGPT-User, Claude-User) beeinflusst, ob Assistenten Menschen live mit Ihrer Seite antworten können – was für viele Websites inzwischen das größte Publikum ist. Ein Vorbehalt, den man kennen sollte: Nutzergesteuerte Agenten haben beim Befolgen der robots.txt die schlechtere Bilanz als die Training-Crawler; eine Sperre dort ist also ein klarerer Hebel gegen Training als gegen Live-Abrufe, und eine Regel auf Edge-Ebene dürfte dafür das verlässlichere Mittel sein. Cloudflares Taxonomie trennt diese Kategorien genau deshalb, damit Sie sie unterschiedlich behandeln können.⁴

Wie messe ich ein Publikum, das ich auf meiner eigenen Website nicht sehe?

Den Menschen hinter einem Live-Abruf können Sie nicht direkt zuordnen; messen Sie deshalb zwei andere Dinge: das Anfragevolumen von KI-Agenten pro Seite aus Ihren Edge-Logs als Näherungswert dafür, wie oft Assistenten die jeweilige Seite nutzen – und den kleineren Strom menschlicher Besucher, die bereits von einem Assistenten verwiesen eintreffen, als sichtbaren Schatten des unsichtbaren Publikums.

Quellen