To asystenci są teraz odbiorcami

Przez większość roku źle odczytywałem własny ruch. Śledziłem odwiedzających ludzi, kliknięcia z wyszukiwarki i głębokość sesji, a wiersze botów w logach traktowałem jako szum do odfiltrowania. Aż w końcu je zsumowałem. W reprezentatywnym dniu moja witryna obsłużyła około 301 odwiedzających ludzi i mniej więcej 19 800 żądań od agentów AI. Agenty nie zbierały moich treści na potrzeby treningu. Największym pojedynczym źródłem — i to z dużą przewagą — był ChatGPT pobierający moje strony na żywo, aby w danej chwili odpowiedzieć na czyjeś pytanie. Moi prawdziwi odbiorcy po cichu przestali mnie odwiedzać. Czytali mnie za pośrednictwem asystenta, a asystent czytał mnie około sześćdziesiąt sześć razy częściej niż ludzie, którym odpowiadał. {.answer-block}

TL;DR

• W reprezentatywnym dniu z ostatniego okresu moja witryna przyciągnęła ~301 odwiedzających ludzi i ~19 800 żądań od agentów AI. Średni siedmiodniowy wolumen ruchu agentów wynosi ~19 850 dziennie wobec 28-dniowej średniej ludzi na poziomie ~301 dziennie — stosunek bliski 66 do 1.¹
• Większość tego ruchu agentów to nie roboty trenujące. To pobieranie na żywo sterowane przez użytkownika: ChatGPT-User na poziomie ~13 100 żądań dziennie i Claude-User na poziomie ~2 300 — agenty, które pobierają stronę tylko dlatego, że człowiek właśnie o coś zapytał swojego asystenta.¹²³
• Dokumentacja samych dostawców wyraźnie wytycza tę granicę. OpenAI: „ChatGPT-User nie służy do automatycznego indeksowania sieci”. Anthropic: Claude-User pobiera strony, „gdy użytkownicy zadają pytania Claude”. Cloudflare formalizuje to jako odrębne zachowanie typu Agent, oddzielne od treningu (Training) i wyszukiwania (Search).²³⁴
• Roboty trenujące, o które wszyscy się martwią, były w porównaniu z tym błędem zaokrąglenia: GPTBot z 55 żądaniami i ClaudeBot z 212 tego samego dnia.¹²³
• Praktyczna zmiana: treści są coraz częściej konsumowane jako budulec odpowiedzi. Czytelnikiem jest człowiek, który nigdy nie trafia na stronę, a tym, co faktycznie czyta, jest asystent pobierający treść w momencie zadania pytania. To zmienia to, co się mierzy, co się pisze i co w ogóle znaczy „ruch”.

Liczba, która zmieniła cały obraz

To witryna osobista: przewodniki techniczne i eseje, dziesięć wersji językowych, kilkuset odwiedzających ludzi dziennie. Przyzwoicie, choć bez wiralowego rozgłosu. Przez wiele miesięcy mój panel opowiadał uporządkowaną historię o kliknięciach z wyszukiwarki i długości sesji, a wiersze agentów AI tkwiły w kącie, który w myślach opatrzyłem etykietą „roboty, pomijać”.

To właśnie ta etykieta była błędem. Gdy w końcu zestawiłem logi brzegowe Cloudflare z analityką ruchu ludzi w jednym widoku, proporcje okazały się dalekie od wyrównanych. Ludzie: około 301 dziennie w 28-dniowej średniej. Agenty AI: około 19 850 żądań dziennie w średniej siedmiodniowej i 19 785 w tym jednym reprezentatywnym dniu, który rozbiłem na źródła.¹ Oba okna są stabilne, więc stosunek nie zależy od tego, które wybiorę: 19 785 wobec 301 to 65,7 do jednego, a wygładzona średnia siedmiodniowa daje 65,9. Nazwijmy to sześćdziesiąt sześć do jednego.

Od razu nasuwa się słuszne zastrzeżenie i chcę je przyznać, zanim podważy cokolwiek innego: te jednostki nie są tożsame. Owe 301 to unikalni odwiedzający ludzie. 19 800 to żądania agentów, a pojedyncza wizyta człowieka również obejmuje kilka żądań stron. Nie jest to więc „sześćdziesiąt sześć razy więcej czytelników”. Bliżej temu do stwierdzenia: „asystenci żądają moich stron mniej więcej sześćdziesiąt sześć razy częściej, niż ludzie przychodzą, by je przeczytać”. Uczciwe porównanie i tak wskazuje w tym samym kierunku, ponieważ interesująca nie jest dokładna wielokrotność. Interesujące jest to, czym okazały się te żądania agentów.

To nie te roboty, których się obawialiśmy

Domyślne założenie — również moje — brzmi tak: ściana ruchu agentów AI oznacza scrapery trenujące, które wciągają treści do kolejnego modelu fundamentalnego. To właśnie ten lęk uruchomił setki poprawek w plikach robots.txt. Moje logi pokazują jednak co innego.

Oto ten sam reprezentatywny dzień w rozbiciu na user-agenty:¹

Proszę spojrzeć jeszcze raz na dwa górne wiersze. ChatGPT-User i Claude-User odpowiadają razem za ponad piętnaście tysięcy z mniej więcej dwudziestu tysięcy żądań agentów tego dnia. Żaden z nich nie jest robotem trenującym, a to rozróżnienie nie jest moją interpretacją. Dostawcy dokumentują je prostym językiem.

Dokumentacja botów OpenAI podaje, że OpenAI używa ChatGPT-User „do określonych działań użytkownika w ChatGPT i Custom GPTs”, że „gdy użytkownicy zadają ChatGPT lub CustomGPT pytanie, może on odwiedzić stronę internetową”, a następnie stwierdza wprost: „ChatGPT-User nie służy do automatycznego indeksowania sieci”.² Masowym robotem trenującym jest osobny agent, GPTBot, opisywany jako indeksujący „treści, które mogą zostać wykorzystane do trenowania naszych generatywnych modeli fundamentalnych”.² W moim reprezentatywnym dniu GPTBot wykonał pięćdziesiąt pięć żądań. ChatGPT-User — trzynaście tysięcy.

Anthropic wytycza identyczną granicę. Claude-User „obsługuje użytkowników Claude AI. Gdy osoby zadają pytania Claude, może on uzyskiwać dostęp do witryn za pomocą agenta Claude-User”. ClaudeBot, robot trenujący, „pomaga zwiększać użyteczność i bezpieczeństwo naszych generatywnych modeli AI, zbierając treści z sieci, które mogłyby potencjalnie przyczynić się do ich trenowania”.³ Ten sam wzorzec: agent sterowany przez użytkownika przyćmiewa robota trenującego — 2 274 do 212.

Cloudflare, które stoi przed sporą częścią sieci i nie ma powodu, by faworyzować któregokolwiek dostawcę, formalizuje dokładnie ten podział. Jego taksonomia zweryfikowanych botów klasyfikuje boty AI według zachowania na odrębne kategorie: Agent — „agenty sterowane przez użytkownika, które odwiedzają stronę w imieniu człowieka”; Search — „indeksowanie w celu budowy indeksów wyszukiwania lub baz danych RAG”; oraz Training — „indeksowanie w celu trenowania lub dostrajania modeli”.⁴ Kluczowym wyróżnikiem jest sterowanie przez człowieka. Bot trenujący lub wyszukiwawczy indeksuje autonomicznie, by zbudować trwały zbiór danych. Pobranie typu Agent jest wywoływane pojedynczo, przez interakcję człowieka, aby odpowiedzieć na jedno konkretne pytanie na żywo. Mój ruch to w przeważającej mierze ta trzecia rzecz.

Co właściwie oznacza pobranie na żywo

Warto zatrzymać się nad mechaniką, bo całkowicie zmienia ona model myślowy. Gdy ChatGPT-User trafia na moją stronę, poprzedza to następująca sekwencja: człowiek otworzył asystenta, wpisał pytanie, asystent uznał, że warto przeczytać moją stronę, aby odpowiedzieć, pobrał ją w czasie rzeczywistym, wydobył to, czego potrzebował, i ułożył odpowiedź. Człowiek dostał swoją odpowiedź. Możliwe, że nigdy nie zobaczył mojego nazwiska, układu strony, moich pozostałych wpisów ani drobnej notki na dole, polecającej jedną z moich aplikacji.

To jest czytelnik. Po prostu czytelnik, którego nigdy nie spotykam. Asystent jest kurierem, a moja analityka widziała zawsze tylko furgonetkę kuriera — trzynaście tysięcy kursów dziennie — i nazywała to szumem.

Ta inwersja to cicha opowieść ukryta pod hałasem o AI i treściach. Debata o robotach trenujących dotyczy tego, czy modele raz, w pewnym momencie, wchłaniają czyjeś treści do swoich wag. Ta debata ma znaczenie, ale to niewłaściwa rzecz do obserwowania, jeśli chce się zrozumieć swoich odbiorców na żywo. Odbiorcy na żywo przychodzą przez pobrania typu Agent, nieprzerwanie, a każde z nich jest wywołane interakcją człowieka dziejącą się właśnie teraz. Każde pobranie ChatGPT-User w moich logach prowadzi z powrotem do osoby, która zapytała swojego asystenta o coś, na co moja strona potrafiła odpowiedzieć — nawet jeśli jedno pytanie wyzwala więcej niż jedno pobranie, a część pobrań nigdy nikomu się nie ukazuje. Skala — piętnaście tysięcy pobrań dziennie wobec trzystu wizyt ludzi — mówi, że osoby, do których moje treści faktycznie docierają, są w większości po drugiej stronie asystenta.

Co to zmienia w mierzeniu witryny

Gdy tylko przyjmiemy, że asystenci są prawdziwymi odbiorcami, w panelu wskaźników nagle brakuje najważniejszego miernika. Standardowa analityka opiera się na założeniu, że czytanie odbywa się na stronie: sesje, głębokość przewijania, czas w witrynie, element konwersji pod pierwszym ekranem. Nic z tego nie zadziała, gdy człowiek czyta nas za pośrednictwem Claude. Asystent niczego nie przewija, niczego nie konwertuje i z definicji „odbija” przy każdej wizycie. Jeśli oceniać treści wyłącznie po zaangażowaniu na stronie, najszybciej rosnąca grupa odbiorców jest statystycznie niewidoczna.

Wynikają z tego trzy korekty i wszystkie trzy już zacząłem wprowadzać.

Po pierwsze: logi żądań agentów AI należy traktować jako miarę odbiorców, a nie miarę bezpieczeństwa. Wolumen ChatGPT-User i Claude-User na stronę śledzę teraz tak samo, jak śledzę unikalnych użytkowników, bo ta liczba jest najlepszym dostępnym mi przybliżeniem tego, „jak często asystent używa tej strony, aby komuś odpowiedzieć”. Strony, które agenty pobierają najczęściej, nie zawsze są stronami, które ludzie klikają najczęściej, a ta różnica to sygnał treściowy, który wcześniej wyrzucałem.

Po drugie: trzeba przestać optymalizować wyłącznie pod moment na stronie. Strona napisana tak, by przejrzał ją pobieżnie człowiek, który przyszedł z wyszukiwarki, to nie to samo, co strona napisana tak, by asystent odpowiadający na pytanie mógł ją czysto wyekstrahować. To drugie zadanie nagradza jasną, samodzielną odpowiedź blisko początku, jednoznaczne stwierdzenia oraz strukturę, którą mechanizm pobierający potrafi wydobyć bez otaczającej otoczki. Dlatego na czele każdego wpisu umieszczam blok bezpośredniej odpowiedzi. Ten blok jest przeznaczony tyleż dla kuriera, co dla czytelnika.

Po trzecie: trzeba pogodzić się z tym, że atrybucja staje się trudniejsza, i mierzyć zamiast niej cień, który rzuca. Nie widzę człowieka stojącego za pobraniem Claude-User. Widzę natomiast sygnał drugiego rzędu: ludzi, którzy trafiają na moją witrynę już skierowani przez asystenta — niewielki strumień osób, które przeczytały odpowiedź, zapragnęły źródła i kliknęły dalej. To zaledwie strużka wobec wolumenu pobrań, dziewięć dziennie wobec piętnastu tysięcy, ale to widoczny czubek niewidzialnej grupy odbiorców, a jego trend jest uczciwą tablicą wyników odpowiadającą na pytanie, czy bycie dobrym budulcem odpowiedzi ostatecznie odsyła ludzi z powrotem do źródła.

Strategia u podstaw

Kusi, by odczytać to wszystko jako zapowiedź zagłady niezależnych witryn: asystenci odzierają treści do gołej ziemi, odpowiadają za nas i zatrzymują człowieka u siebie. Czasem właśnie tak się dzieje. Ale takie ujęcie jest zbyt płaskie, bo pomija to, co pobranie w istocie preferuje.

Asystent pobiera stronę, ponieważ w momencie zadania pytania uznał ją za najlepsze dostępne źródło dla tego konkretnego zapytania. To nie dawna gra w wyszukiwarce o pozycję na słowo kluczowe. To bycie tym, po co silnik odpowiedzi sięga, gdy musi mieć rację. Walutą nie są linki zwrotne ani gęstość słów kluczowych; walutą jest bycie w sposób wykazywalny i możliwy do pobrania poprawnym w kwestii, o którą pyta wystarczająco wielu ludzi. Strona dokładna, konkretna i aktualna zostaje pobrana. Strona z rozwodnioną, powtarzaną treścią masową — nie, bo część masową model już zna i sięga na zewnątrz tylko wtedy, gdy potrzebuje czegoś, czego sam nie zawiera w sposób pewny.

Bodziec, jaki tworzy ruch typu Agent, jest więc — po raz pierwszy — zbieżny z tworzeniem naprawdę dobrych stron. Nie stron skonstruowanych pod algorytm rankingowy, lecz stron wartych pobrania, by odpowiedzieć na realne pytanie. Mierzalna nagroda przesunęła się z „czy człowiek wszedł i przewinął” na „czy asystent uznał to za najlepsze źródło i przeczytał je człowiekowi”. Wolę rywalizować o to drugie.

Stanowisko

Asystentów należy traktować jako głównych odbiorców, bo w liczbach już nimi są, i budować pod pobranie tak samo jak pod wizytę. Człowiek na stronie jest dziś czytelnikiem mniejszościowym, często tym, któremu na tyle zależało, że przyszedł odszukać źródło już po odpowiedzi asystenta. Czytelnikiem większościowym jest sam asystent, pobierający treść na żywo, ilekroć wymaga tego pytanie człowieka, i nigdy niedotykający analityki. To nie problem z robotem, który należy zablokować. To kanał dystrybucji, który należy zrozumieć — i w tej chwili największy, jakim dysponuje większość witryn z treścią.

Witrynę najbliższych kilku lat mierzy się dwiema liczbami, nie jedną. Jest ruch, który widać — ludzie na stronie — i ruch, który trzeba wywnioskować: asystenci czytający treść, by odpowiedzieć ludziom, których nigdy się nie spotka. U mnie proporcja wynosi około sześćdziesiąt sześć do jednego na korzyść czytelników, których nie widzę. Podejrzewam, że u innych jest bliżej tej wartości, niż mówi ich panel, bo odpowiednie wiersze tkwią w tym samym kącie, w którym zostawiłem swoje — opatrzone etykietą „szum”.

Najważniejsze wnioski

• Żądania agentów AI trzeba liczyć jako odbiorców, nie jako szum. W mojej witrynie przewyższają liczbę wejść ludzi mniej więcej 66 do 1, a skład tego ruchu znaczy więcej niż sama wielokrotność.¹
• Większość ruchu agentów to pobieranie na żywo, sterowane przez użytkownika, a nie trening. ChatGPT-User i Claude-User pobierają strony dlatego, że człowiek właśnie o coś zapytał swojego asystenta; dostawcy to dokumentują, a Cloudflare klasyfikuje to jako odrębne zachowanie typu Agent.²³⁴
• Roboty trenujące to niewielki ułamek. GPTBot i ClaudeBot razem to mniej niż 300 żądań w dniu, w którym agenty sterowane przez użytkownika wykonały ponad 15 000.¹²³
• Analityka na stronie pomija najszybciej rosnącą grupę odbiorców. Asystenci niczego nie przewijają i niczego nie konwertują, więc wskaźniki zaangażowania czynią odbiorców typu Agent niewidzialnymi; zamiast tego warto śledzić wolumen pobrań agentów na poszczególne strony jako przybliżenie.
• Trzeba pisać pod pobranie. Warto zacząć od jasnej, samodzielnej odpowiedzi — konkretnej, dokładnej i aktualnej. Silnik odpowiedzi pobiera stronę, którą w momencie zadania pytania uzna za najlepsze źródło, co nagradza faktyczną rzetelność bardziej niż optymalizację pod słowa kluczowe.

FAQ

Jaka jest różnica między ChatGPT-User a GPTBot?

GPTBot to robot trenujący OpenAI, który zbiera treści, „które mogą zostać wykorzystane do trenowania” modeli fundamentalnych. ChatGPT-User to agent sterowany przez użytkownika, który pobiera stronę, gdy człowiek zadaje ChatGPT pytanie; OpenAI stwierdza, że „nie służy do automatycznego indeksowania sieci”.² W moich logach obie wartości różnią się o rzędy wielkości: ChatGPT-User wykonał 13 128 żądań w dniu, w którym GPTBot wykonał 55.¹

Czy asystenci AI czytają moją witrynę w czasie rzeczywistym?

Jeśli udostępnia się treści, które odpowiadają na częste pytania, to niemal na pewno tak. Agenty takie jak ChatGPT-User, Claude-User i Perplexity-User pobierają strony na żywo, gdy człowiek zapyta asystenta o coś, na co strona potrafi odpowiedzieć.²³ Różnią się one od robotów trenujących i od indekserów wyszukiwania, a w mojej witrynie stanowią dominującą formę ruchu agentów.

Czym różni się to od SEO?

Klasyczne SEO optymalizuje pod pozycję na stronie wyników, którą człowiek następnie klika. Pobieranie przez silnik odpowiedzi optymalizuje pod to, by być źródłem, które asystent pobiera i czyta, aby ułożyć odpowiedź — często w ogóle bez wizyty człowieka. Nagroda przesuwa się z sygnałów rankingowych ku byciu na tyle dokładnym, konkretnym i aktualnym, by model sięgnął po stronę, gdy musi mieć rację.

Czy blokować agenty AI w pliku robots.txt?

To realny wybór, ale należy podejmować go osobno dla każdego zachowania, nie hurtem. Blokowanie robotów trenujących (GPTBot, ClaudeBot) wpływa na to, czy treści zasilą trening przyszłych modeli. Blokowanie agentów sterowanych przez użytkownika (ChatGPT-User, Claude-User) wpływa na to, czy asystenci mogą na żywo odpowiadać ludziom, korzystając ze strony — a dla wielu witryn to dziś największa grupa odbiorców. Jedno zastrzeżenie warte odnotowania: agenty sterowane przez użytkownika mają słabszą reputację w przestrzeganiu robots.txt niż roboty trenujące, więc blokada w robots.txt jest wyraźniejszą dźwignią wobec treningu niż wobec pobrań na żywo, a pewniejszą kontrolą może tu być reguła na brzegu sieci. Taksonomia Cloudflare rozdziela te kategorie właśnie po to, by można je było traktować odmiennie.⁴

Jak mierzyć odbiorców, których nie widać we własnej witrynie?

Nie da się bezpośrednio przypisać człowieka stojącego za pobraniem na żywo, więc zamiast tego warto mierzyć dwie rzeczy: wolumen żądań agentów AI na poszczególne strony z logów brzegowych — jako przybliżenie tego, jak często asystenci korzystają z każdej strony — oraz mniejszy strumień odwiedzających ludzi, którzy trafiają już skierowani przez asystenta, jako widoczny cień niewidzialnej grupy odbiorców.

Źródła