Teraz publiczność stanowią asystenci

Przez większą część roku źle odczytywałem własny ruch. Patrzyłem na odwiedzających ludzi, kliknięcia z wyszukiwarki i głębokość sesji, a wiersze botów w logach traktowałem jak szum do odfiltrowania. Potem w końcu je zsumowałem. W reprezentatywnej dobie moja witryna obsłużyła około 301 odwiedzających ludzi i mniej więcej 19 800 żądań od agentów AI. Agenty nie zbierały moich treści pod trening. Największym pojedynczym źródłem — z ogromną przewagą — był ChatGPT pobierający moje strony na żywo, żeby w danej chwili odpowiedzieć komuś na pytanie. Moja prawdziwa publiczność po cichu przestała mnie odwiedzać. Czytała mnie przez asystenta, a asystent czytał mnie jakieś sześćdziesiąt sześć razy częściej niż ludzie, którym odpowiadał. {.answer-block}

W skrócie

• W reprezentatywnej dobie z ostatniego okresu witryna przyciągnęła ~301 odwiedzających ludzi i ~19 800 żądań agentów AI. Średni wolumen agentów z 7 dni to ~19 850 dziennie wobec 28-dniowej średniej ~301 ludzi dziennie — stosunek bliski 66 do 1.¹
• Większość tego ruchu agentów nie pochodzi od crawlerów treningowych. To pobieranie na żywo, inicjowane przez użytkownika: ChatGPT-User z ~13 100 żądaniami dziennie i Claude-User z ~2 300 — agenty, które sięgają po stronę wyłącznie dlatego, że człowiek właśnie o coś zapytał swojego asystenta.¹²³
• Dokumentacja samych dostawców stawia tę granicę wprost. OpenAI: „ChatGPT-User nie służy do automatycznego przeszukiwania sieci”. Anthropic: Claude-User pobiera strony, „gdy użytkownicy zadają pytania Claude”. Cloudflare formalizuje to jako osobne zachowanie Agent, odrębne od Training i Search.²³⁴
• Crawlery treningowe, o które wszyscy się martwią, okazały się przy nich błędem zaokrąglenia: GPTBot z 55 żądaniami i ClaudeBot z 212 tego samego dnia.¹²³
• Praktyczna zmiana: treść coraz częściej jest konsumowana jako budulec odpowiedzi. Czytelnikiem jest człowiek, który nigdy nie trafia na stronę, a tym, co faktycznie czyta, jest asystent pobierający materiał w momencie zadania pytania. To zmienia, co się mierzy, jak się pisze i co w ogóle znaczy słowo „ruch”.

Liczba, która przestawiła całą optykę

To witryna osobista: techniczne poradniki i eseje, dziesięć wersji językowych, kilkuset odwiedzających ludzi dziennie. Przyzwoicie, choć bez wiralowych fajerwerków. Przez miesiące panel analityczny opowiadał mi uporządkowaną historię o kliknięciach z wyszukiwarki i długości sesji, a wiersze agentów AI siedziały w kącie, który w głowie opisałem jako „crawlery, ignorować”.

To ta etykieta była błędem. Kiedy w końcu zestawiłem w jednym widoku logi z warstwy edge Cloudflare i analitykę ludzkiego ruchu, proporcja okazała się daleka od wyrównanej. Ludzie: około 301 dziennie w średniej 28-dniowej. Agenty AI: około 19 850 żądań dziennie w średniej 7-dniowej i 19 785 w tej jednej reprezentatywnej dobie, którą rozbiłem na źródła.¹ Oba okna są stabilne, więc stosunek nie zależy od tego, które wybiorę: 19 785 wobec 301 daje 65,7 do jednego, a wygładzona średnia 7-dniowa wypada na 65,9. Powiedzmy: sześćdziesiąt sześć do jednego.

Od razu nasuwa się uczciwy zarzut i chcę go uznać, zanim podkopie cokolwiek innego: te jednostki nie są identyczne. 301 to unikalni ludzcy odwiedzający. 19 800 to żądania agentów, a pojedyncza ludzka wizyta również obejmuje kilka żądań stron. Nie jest to więc „sześćdziesiąt sześć razy więcej czytelników”. Bliżej temu do stwierdzenia: „asystenci sięgają po moje strony mniej więcej sześćdziesiąt sześć razy częściej, niż ludzie przychodzą je przeczytać”. Uczciwe porównanie i tak wskazuje w tę samą stronę, bo interesująca nie jest dokładna krotność. Interesujące jest to, czym te żądania agentów się okazały.

To nie te crawlery, o które się Państwo martwili

Domyślne założenie — moje również — brzmi tak: ściana ruchu agentów AI oznacza scrapery treningowe wciągające cudzą treść do kolejnego modelu fundamentalnego. To ten lęk uruchomił setki poprawek w robots.txt. Moje logi pokazują co innego.

Oto ta sama reprezentatywna doba w rozbiciu na user-agenty:¹

Warto przeczytać dwa górne wiersze jeszcze raz. ChatGPT-User i Claude-User odpowiadają razem za ponad piętnaście tysięcy z mniej więcej dwudziestu tysięcy żądań agentów tego dnia. Żaden z nich nie jest crawlerem treningowym, a to rozróżnienie nie jest moją interpretacją. Opisali je zwykłym językiem sami dostawcy.

Dokumentacja botów OpenAI mówi, że OpenAI wykorzystuje ChatGPT-User „do określonych działań użytkownika w ChatGPT i Custom GPTs”, że „gdy użytkownicy zadają pytanie ChatGPT lub CustomGPT, może on odwiedzić stronę internetową”, a następnie stwierdza wprost: „ChatGPT-User nie służy do automatycznego przeszukiwania sieci”.² Masowy crawler treningowy to osobny agent, GPTBot, opisany jako indeksujący „treści, które mogą zostać wykorzystane w trenowaniu naszych generatywnych modeli fundamentalnych”.² W mojej reprezentatywnej dobie GPTBot wykonał pięćdziesiąt pięć żądań. ChatGPT-User — trzynaście tysięcy.

Anthropic wyznacza identyczną granicę. Claude-User „obsługuje użytkowników Claude AI. Gdy użytkownicy zadają pytania Claude, może on uzyskiwać dostęp do witryn za pośrednictwem agenta Claude-User”. ClaudeBot, crawler treningowy, „pomaga zwiększać użyteczność i bezpieczeństwo naszych modeli generatywnych, zbierając treści z sieci, które potencjalnie mogą przyczynić się do ich trenowania”.³ Ten sam kształt: agent sterowany przez użytkownika przyćmiewa crawler treningowy, 2274 do 212.

Cloudflare, który stoi przed sporym wycinkiem sieci i nie ma powodu, by schlebiać któremukolwiek dostawcy, formalizuje dokładnie ten podział. Jego taksonomia zweryfikowanych botów klasyfikuje boty AI według zachowania na odrębne kategorie: Agent — „agenty sterowane przez użytkownika, odwiedzające stronę w imieniu człowieka”; Search — „przeszukiwanie w celu budowy indeksów wyszukiwania lub baz danych RAG”; oraz Training — „przeszukiwanie w celu trenowania lub dostrajania modeli”.⁴ Kryterium rozstrzygającym jest udział człowieka. Bot treningowy lub wyszukiwarkowy przeszukuje autonomicznie, żeby zbudować trwały zbiór danych. Pobranie przez Agenta jest wyzwalane za każdym razem osobno — przez interakcję człowieka — aby na żywo odpowiedzieć na jedno konkretne pytanie. Mój ruch to w przeważającej mierze ta trzecia kategoria.

Co naprawdę oznacza pobranie na żywo

Warto zatrzymać się przy mechanice, bo całkowicie zmienia ona model mentalny. Gdy ChatGPT-User sięga po moją stronę, poprzedzająca to sekwencja wygląda następująco: ktoś otworzył asystenta, wpisał pytanie, asystent uznał, że warto przeczytać moją stronę, żeby odpowiedzieć, pobrał ją w czasie rzeczywistym, wyciągnął to, czego potrzebował, i skomponował odpowiedź. Ta osoba dostała odpowiedź. Mogła nigdy nie zobaczyć mojego nazwiska, mojego układu strony, moich pozostałych wpisów ani drobnej notki na dole polecającej jedną z moich aplikacji.

To jest czytelnik. Po prostu czytelnik, którego nigdy nie spotykam. Asystent jest kurierem, a moja analityka widziała zawsze tylko furgonetkę kuriera — trzynaście tysięcy kursów dziennie — i nazywała to szumem.

To odwrócenie jest cichą historią pod całym hałasem wokół AI i treści. Debata o crawlerach treningowych dotyczy tego, czy modele wchłoną czyjąś pracę raz, w pewnym momencie, do wag. Ta debata ma znaczenie, ale nie na to trzeba patrzeć, jeśli chce się zrozumieć swoją żywą publiczność. Żywa publiczność przychodzi przez pobrania typu Agent — nieprzerwanie, każde wyzwolone przez ludzką interakcję dziejącą się właśnie teraz. Każde pobranie ChatGPT-User w moich logach prowadzi z powrotem do osoby, która zapytała asystenta o coś, na co moja strona potrafiła odpowiedzieć — nawet jeśli jedno pytanie wyzwala więcej niż jedno pobranie, a niektóre pobrania nigdy nigdzie nie wypływają. Skala — piętnaście tysięcy pobrań dziennie wobec trzystu ludzkich odwiedzin — mówi, że ludzie, do których moja treść naprawdę dociera, są w większości po drugiej stronie asystenta.

Co to zmienia w mierzeniu witryny

Kiedy już przyjmiemy, że asystenci są realną publicznością, na desce rozdzielczej nagle brakuje najważniejszego wskaźnika. Standardowa analityka opiera się na założeniu, że czytanie odbywa się na stronie: sesje, głębokość przewijania, czas na witrynie, element konwersji poniżej pierwszego ekranu. Nic z tego nie odpala, gdy człowiek czyta nas przez Claude. Asystent niczego nie przewija, niczego nie konwertuje i z definicji odbija się przy każdej wizycie. Kto ocenia treść wyłącznie po zaangażowaniu na stronie, ten traci z oczu swoją najszybciej rosnącą publiczność — statystycznie jest ona niewidoczna.

Wynikają z tego trzy korekty i wszystkie trzy zacząłem wprowadzać.

Po pierwsze, logi żądań agentów AI należy traktować jako metrykę publiczności, nie jako metrykę bezpieczeństwa. Śledzę teraz wolumen ChatGPT-User i Claude-User dla poszczególnych stron tak samo, jak śledzę unikalnych ludzi, bo ta liczba jest najbliższym dostępnym mi przybliżeniem pytania „jak często asystent używa tej strony, żeby komuś odpowiedzieć”. Strony najczęściej pobierane przez agenty nie zawsze pokrywają się ze stronami najczęściej klikanymi przez ludzi, a ta różnica jest sygnałem o treści, który dotąd wyrzucałem.

Po drugie, warto przestać optymalizować wyłącznie pod moment na stronie. Strona napisana tak, by przeskanował ją wzrokiem człowiek, który trafił z wyszukiwarki, to nie to samo, co strona napisana tak, by asystent odpowiadający na pytanie mógł ją czysto wyekstrahować. To drugie zadanie premiuje jasną, samowystarczalną odpowiedź blisko góry, jednoznaczne twierdzenia i strukturę, którą mechanizm pobierający wydobędzie bez otaczającej obudowy. Dlatego na czele każdego wpisu umieszczam blok z bezpośrednią odpowiedzią. Ten blok jest dla kuriera w takim samym stopniu, jak dla czytelnika.

Po trzecie, trzeba pogodzić się z tym, że atrybucja staje się trudniejsza, i mierzyć zamiast niej rzucany przez nią cień. Nie widzę człowieka stojącego za pobraniem Claude-User. Widzę natomiast sygnał drugiego rzędu: ludzi, którzy trafiają na moją witrynę już z polecenia asystenta — niewielki strumień osób, które przeczytały odpowiedź, zechciały zobaczyć źródło i kliknęły dalej. To strużka przy wolumenie pobrań, dziewięć dziennie wobec piętnastu tysięcy, ale to widoczny czubek niewidocznej publiczności, a jej trend jest uczciwą tablicą wyników dla pytania, czy bycie dobrym budulcem odpowiedzi odsyła ostatecznie ludzi do źródła.

Strategia pod spodem

Kusi, żeby odczytać to wszystko jako wyrok na niezależne witryny: asystenci eksploatują cudzą treść jak odkrywkę, odpowiadają za nas i zatrzymują człowieka u siebie. Czasem dokładnie tak się dzieje. Niemniej to ujęcie jest zbyt płaskie, bo pomija to, co takie pobranie faktycznie selekcjonuje.

Asystent pobiera stronę, bo w momencie pytania ocenił ją jako najlepsze dostępne źródło dla tego konkretnego zapytania. To nie jest dawna gra wyszukiwarkowa o pozycję na słowo kluczowe. To bycie tym, po co sięga silnik odpowiedzi, gdy musi mieć rację. Walutą nie są linki zwrotne ani nasycenie słowami kluczowymi; walutą jest wykazywalna i możliwa do pobrania racja w sprawie, o którą pyta wystarczająco wielu. Strona dokładna, konkretna i aktualna zostaje pobrana. Strona z cienką, odgrzewaną treścią masową — nie, bo część masową model już zna i sięga na zewnątrz tylko wtedy, gdy potrzebuje czegoś, czego nie zawiera w sposób pewny.

Bodziec, który tworzy ruch typu Agent, chociaż raz idzie więc w parze z robieniem naprawdę dobrych stron. Nie stron zaprojektowanych pod algorytm rankingowy, lecz stron wartych pobrania, by odpowiedzieć na realne pytanie. Mierzalna nagroda przesunęła się z „czy człowiek wszedł i przewinął” na „czy asystent uznał to za najlepsze źródło i przeczytał to człowiekowi”. Wolę rywalizować na tym drugim polu.

Stanowisko

Asystentów należy traktować jako główną publiczność, bo według liczb już nią są — i budować pod pobranie w takim samym stopniu, jak pod wizytę. Człowiek na naszej stronie jest dziś czytelnikiem mniejszościowym, często tym, któremu zależało na tyle, by po odpowiedzi asystenta odnaleźć źródło. Czytelnikiem większościowym jest sam asystent, pobierający nas na żywo, ilekroć wymaga tego ludzkie pytanie, i nigdy nietykający naszej analityki. To nie jest problem crawlerów do zablokowania. To kanał dystrybucji do zrozumienia — i akurat teraz największy, jaki ma większość witryn treściowych.

Witryna najbliższych lat mierzy się dwiema liczbami, nie jedną. Jest ruch, który widać — ludzie na stronie — i ruch, który trzeba wywnioskować: asystenci czytający nas, by odpowiedzieć ludziom, których nigdy nie spotkamy. U mnie relacja wynosi mniej więcej sześćdziesiąt sześć do jednego na korzyść czytelników, których nie widzę. Podejrzewam, że u Państwa jest bliżej tej proporcji, niż mówi panel analityczny, bo te wiersze siedzą w tym samym kącie, w którym zostawiłem swoje, opisane jako szum.

Najważniejsze wnioski

• Żądania agentów AI należy liczyć jako publiczność, nie jako szum. Na mojej witrynie przewyższają liczbę ludzkich wejść na strony mniej więcej 66 do 1, a skład tego ruchu znaczy więcej niż sama krotność.¹
• Większość ruchu agentów to pobieranie na żywo na polecenie użytkownika, nie trening. ChatGPT-User i Claude-User pobierają strony, bo człowiek właśnie o coś zapytał swojego asystenta; dostawcy to dokumentują, a Cloudflare klasyfikuje jako odrębne zachowanie Agent.²³⁴
• Crawlery treningowe to niewielki ułamek. GPTBot i ClaudeBot wykonały łącznie poniżej 300 żądań w dobie, w której agenty sterowane przez użytkownika wykonały ponad 15 000.¹²³
• Analityka na stronie nie widzi najszybciej rosnącej publiczności. Asystenci niczego nie przewijają i niczego nie konwertują, więc metryki zaangażowania czynią publiczność typu Agent niewidzialną; zamiast tego warto śledzić wolumen pobrań agentów dla poszczególnych stron jako przybliżenie.
• Pisać z myślą o pobieraniu. Zaczynać od jasnej, samowystarczalnej odpowiedzi; być konkretnym, dokładnym i aktualnym. Silnik odpowiedzi pobiera stronę, którą w momencie pytania uzna za najlepsze źródło, co premiuje faktyczną rację ponad optymalizację pod słowa kluczowe.

FAQ

Jaka jest różnica między ChatGPT-User a GPTBot?

GPTBot to crawler treningowy OpenAI, zbierający treści, które „mogą zostać wykorzystane w trenowaniu” modeli fundamentalnych. ChatGPT-User to agent sterowany przez użytkownika, który pobiera stronę, gdy człowiek zada pytanie ChatGPT; OpenAI stwierdza, że „nie służy do automatycznego przeszukiwania sieci”.² W moich logach oba różnią się o rzędy wielkości: ChatGPT-User wykonał 13 128 żądań w dobie, w której GPTBot wykonał 55.¹

Czy asystenci AI czytają moją witrynę w czasie rzeczywistym?

Jeśli serwują Państwo treści odpowiadające na częste pytania — niemal na pewno tak. Agenty takie jak ChatGPT-User, Claude-User i Perplexity-User pobierają strony na żywo, gdy człowiek zapyta asystenta o coś, na co dana strona potrafi odpowiedzieć.²³ Różnią się one od crawlerów treningowych i od botów indeksujących wyszukiwarek, a na mojej witrynie stanowią dominującą formę ruchu agentów.

Czym to się różni od SEO?

Klasyczne SEO optymalizuje pod pozycję na stronie wyników, którą człowiek następnie klika. Optymalizacja pod silniki odpowiedzi celuje w bycie źródłem, które asystent pobiera i czyta, by skomponować odpowiedź — często bez żadnej wizyty człowieka. Nagroda przesuwa się z sygnałów rankingowych ku byciu dokładnym, konkretnym i aktualnym na tyle, by model sięgnął po naszą stronę, gdy musi mieć rację.

Czy powinienem blokować agenty AI w robots.txt?

To realny wybór, ale należy rozstrzygać go osobno dla każdego zachowania, nie hurtem. Blokada crawlerów treningowych (GPTBot, ClaudeBot) wpływa na to, czy nasze treści trenują przyszłe modele. Blokada agentów sterowanych przez użytkownika (ChatGPT-User, Claude-User) wpływa na to, czy asystenci mogą odpowiadać ludziom, korzystając z naszej strony na żywo — a to dla wielu witryn największa dziś publiczność. Jedno zastrzeżenie warte odnotowania: agenty sterowane przez użytkownika mają słabszą historię respektowania robots.txt niż crawlery treningowe, więc blokada w robots.txt jest wyraźniejszą dźwignią wobec treningu niż wobec pobrań na żywo, a bardziej niezawodną kontrolą bywa tam reguła w warstwie edge. Taksonomia Cloudflare rozdziela te kategorie właśnie po to, by można je było traktować odmiennie.⁴

Jak zmierzyć publiczność, której nie widać na własnej witrynie?

Nie da się bezpośrednio przypisać człowieka stojącego za pobraniem na żywo, więc warto mierzyć dwie inne rzeczy: wolumen żądań agentów AI dla poszczególnych stron z logów warstwy edge — jako przybliżenie tego, jak często asystenci korzystają z danej strony — oraz mniejszy strumień ludzkich odwiedzających, którzy przychodzą już z polecenia asystenta, jako widoczny cień niewidocznej publiczności.

Źródła