이제 어시스턴트가 독자입니다

거의 1년 동안 저는 제 트래픽을 잘못 읽고 있었습니다. 사람 방문자, 검색 클릭, 세션 깊이를 지켜보면서 로그에 찍힌 봇 행들은 걸러내야 할 노이즈로 취급했습니다. 그러다 실제로 그 숫자를 더해 봤습니다. 어느 대표적인 하루 동안 제 사이트는 약 301명의 사람 방문자를 맞이했고, AI 에이전트로부터 약 19,800건의 요청을 받았습니다. 이 에이전트들은 학습을 위해 제 사이트를 긁어 가는 게 아니었습니다. 압도적인 차이로 가장 큰 단일 출처는, 바로 그 순간 누군가의 질문에 답하기 위해 제 페이지를 실시간으로 가져오는 ChatGPT였습니다. 제 진짜 독자는 어느새 조용히 방문을 멈춘 상태였습니다. 그들은 어시스턴트를 통해 저를 읽고 있었고, 그 어시스턴트는 자신이 답해 주는 사람들보다 약 66배 더 자주 저를 읽고 있었습니다. {.answer-block}

TL;DR

• 최근의 어느 대표적인 하루, 제 사이트는 약 301명의 사람 방문자와 약 19,800건의 AI 에이전트 요청을 받았습니다. 에이전트 요청량의 7일 평균은 하루 약 19,850건으로, 28일 사람 방문자 평균인 하루 약 301명과 비교하면 약 66 대 1의 비율입니다.¹
• 이 에이전트 트래픽의 대부분은 학습용 크롤러가 아닙니다. 사용자의 요청에 따라 실시간으로 페이지를 가져오는 것입니다. ChatGPT-User가 하루 약 13,100건, Claude-User가 약 2,300건으로, 이들은 사람이 방금 자기 어시스턴트에게 무언가를 물었기 때문에 비로소 페이지를 가져오는 에이전트입니다.¹²³
• 각 업체의 공식 문서가 이 경계를 분명히 긋고 있습니다. OpenAI는 “ChatGPT-User는 자동화된 방식으로 웹을 크롤링하는 데 사용되지 않는다”라고 밝힙니다. Anthropic은 Claude-User가 “사람들이 Claude에 질문할 때” 페이지를 가져온다고 설명합니다. Cloudflare는 이를 학습(Training) 및 검색(Search)과 구분되는 별도의 에이전트(Agent) 동작으로 공식 분류합니다.²³⁴
• 정작 모두가 걱정하는 학습용 크롤러는 이에 비하면 반올림 오차 수준이었습니다. 같은 날 GPTBot은 55건, ClaudeBot은 212건의 요청에 그쳤습니다.¹²³
• 실질적인 변화는 이것입니다. 여러분의 콘텐츠는 점점 더 ‘답변의 재료’로 소비됩니다. 독자는 여러분의 페이지에 결코 도착하지 않는 사람이고, 실제로 여러분의 글을 읽는 주체는 질문이 들어온 순간 여러분을 가져오는 어시스턴트입니다. 이는 무엇을 측정하고, 무엇을 쓰고, ‘트래픽’이 무엇을 의미하는지까지 바꿔 놓습니다.

모든 것을 다시 보게 만든 숫자

이 사이트는 개인 사이트입니다. 기술 가이드와 에세이, 10개 언어, 하루 수백 명의 사람 방문자. 그럴듯하지만 화제가 될 만한 규모는 아닙니다. 몇 달 동안 제 대시보드는 검색 클릭과 세션 길이에 관한 깔끔한 이야기를 들려줬고, AI 에이전트 행들은 제가 마음속으로 ‘크롤러, 무시’라고 이름 붙인 구석에 처박혀 있었습니다.

바로 그 꼬리표가 실수였습니다. 마침내 Cloudflare 엣지 로그를 사람 분석 데이터와 같은 화면에 놓고 보니, 그 비율은 결코 비슷하지 않았습니다. 사람은 28일 평균으로 하루 약 301명. AI 에이전트는 7일 평균으로 하루 약 19,850건의 요청이었고, 출처별로 분해해 본 대표적인 하루에는 19,785건이었습니다.¹ 두 기간 모두 안정적이라 어느 쪽을 택하든 비율은 달라지지 않습니다. 19,785 대 301은 65.7 대 1이고, 더 완만한 7일 평균으로는 65.9 대 1입니다. 그냥 66 대 1이라고 부르겠습니다.

여기서 한 가지 정당한 반론이 곧바로 나옵니다. 다른 논의를 흔들기 전에 먼저 인정하고 넘어가겠습니다. 두 단위는 서로 같지 않습니다. 301은 순 사람 방문자 수입니다. 19,800은 에이전트 요청 수인데, 사람 한 명의 방문 역시 여러 건의 페이지 요청으로 이어집니다. 그러니 이것은 ‘독자가 66배 많다’는 뜻이 아닙니다. ‘어시스턴트가 제 페이지를 요청하는 빈도가 사람이 읽으러 도착하는 빈도의 약 66배’라는 쪽에 가깝습니다. 그래도 정직한 비교는 여전히 같은 방향을 가리킵니다. 흥미로운 지점은 정확한 배수가 아니라, 그 에이전트 요청들의 정체가 무엇으로 드러났는가이기 때문입니다.

여러분이 걱정하던 그 크롤러가 아닙니다

저를 포함한 대다수의 기본 가정은, 벽처럼 쏟아지는 AI 에이전트 트래픽이 곧 여러분의 콘텐츠를 다음 파운데이션 모델로 빨아들이는 학습용 스크래퍼를 의미한다는 것입니다. 수많은 robots.txt 수정을 촉발한 것이 바로 그 두려움입니다. 하지만 제 로그가 보여 주는 것은 그게 아닙니다.

같은 대표적인 하루를 user-agent별로 분해하면 다음과 같습니다.¹

맨 위 두 행을 다시 보세요. ChatGPT-User와 Claude-User를 합치면 그날의 약 2만 건에 이르는 에이전트 요청 중 1만 5천 건이 넘습니다. 둘 다 학습용 크롤러가 아니며, 이 구분은 제 해석이 아닙니다. 각 업체가 분명한 언어로 문서에 명시해 둔 사실입니다.

OpenAI의 봇 문서는 OpenAI가 ChatGPT-User를 “ChatGPT와 Custom GPT의 특정 사용자 동작”에 사용하며, “사용자가 ChatGPT나 CustomGPT에 질문하면 웹 페이지를 방문할 수 있다”라고 설명하고, 이어서 “ChatGPT-User는 자동화된 방식으로 웹을 크롤링하는 데 사용되지 않는다”라고 단호히 못 박습니다.² 대량 학습용 크롤러는 GPTBot이라는 별도의 에이전트로, “우리의 생성형 AI 파운데이션 모델 학습에 사용될 수 있는 콘텐츠”를 크롤링한다고 설명됩니다.² 제 대표적인 하루에 GPTBot은 55건의 요청을 보냈습니다. ChatGPT-User는 1만 3천 건을 보냈습니다.

Anthropic도 똑같은 경계를 긋습니다. Claude-User는 “Claude AI 사용자를 지원한다. 사람들이 Claude에 질문하면, Claude-User 에이전트를 사용해 웹사이트에 접근할 수 있다”라고 설명됩니다. 학습용 크롤러인 ClaudeBot은 “학습에 잠재적으로 기여할 수 있는 웹 콘텐츠를 수집하여 우리 생성형 AI 모델의 유용성과 안전성을 높이는 데 도움을 준다”라고 되어 있습니다.³ 형태는 똑같습니다. 사용자 요청 기반 에이전트가 학습용 크롤러를 압도합니다. 2,274건 대 212건입니다.

웹의 상당 부분 앞단에 자리 잡고 있으면서 특정 업체 한 곳에 유리하게 말할 이유가 없는 Cloudflare는, 바로 이 구분을 공식화합니다. Cloudflare의 검증된 봇 분류 체계는 AI 봇을 동작에 따라 별개의 범주로 나눕니다. 에이전트(Agent)는 “사람을 대신해 페이지를 방문하는 사용자 요청 기반 에이전트”, 검색(Search)은 “검색 색인이나 RAG 데이터베이스를 구축하기 위한 크롤링”, 학습(Training)은 “모델을 학습하거나 파인튜닝하기 위한 크롤링”입니다.⁴ 핵심 판별 기준은 사람의 지시 여부입니다. 학습용 또는 검색용 봇은 지속적인 데이터셋을 구축하기 위해 자율적으로 크롤링합니다. 에이전트 페칭은 하나의 구체적인 질문에 실시간으로 답하기 위해, 사람의 상호작용에 의해 요청마다 발생합니다. 제 트래픽은 압도적으로 세 번째 유형입니다.

실시간 페칭이 실제로 의미하는 것

그 작동 방식을 곰곰이 들여다볼 필요가 있습니다. 그것이 사고의 틀을 완전히 바꿔 놓기 때문입니다. ChatGPT-User가 제 페이지에 접속할 때, 그것을 만들어 낸 일련의 과정은 이렇습니다. 한 사람이 어시스턴트를 열어 질문을 입력했고, 어시스턴트는 답을 하려면 제 페이지를 읽을 가치가 있다고 판단했고, 그 페이지를 실시간으로 가져와 필요한 내용을 추출한 뒤 답변을 작성했습니다. 그 사람은 답을 얻었습니다. 그는 제 이름도, 제 레이아웃도, 제 다른 글도, 하단에 제 앱 하나를 추천하는 작은 문구도 결코 보지 못했을 수 있습니다.

그래도 그는 독자입니다. 다만 제가 결코 만나지 못하는 독자일 뿐입니다. 어시스턴트는 배달원이고, 제 분석 도구는 그저 그 배달원의 승합차만, 하루 1만 3천 번의 운행만 보면서 그것을 노이즈라 불렀습니다.

이 역전이야말로 AI와 콘텐츠를 둘러싼 소음 밑에 조용히 깔린 진짜 이야기입니다. 학습용 크롤러 논쟁은 모델이 언젠가 한 번 여러분의 작업물을 가중치 속으로 삼키는지에 관한 것입니다. 그 논쟁도 중요하지만, 실시간 독자를 이해하고 싶다면 잘못 짚은 대상입니다. 실시간 독자는 에이전트 페칭을 통해 끊임없이 도착하며, 그 하나하나가 바로 지금 일어나는 사람의 상호작용에서 발생합니다. 제 로그에 찍힌 모든 ChatGPT-User 페칭은, 한 번의 질문이 두 번 이상의 페칭을 일으키거나 일부 페칭이 아무에게도 드러나지 않는다 해도, 결국 제 페이지가 답할 수 있는 무언가를 자기 어시스턴트에게 물은 한 사람으로 거슬러 올라갑니다. 하루 1만 5천 건의 페칭 대 300명의 사람 방문이라는 규모는, 제 콘텐츠가 실제로 가닿는 사람들이 대부분 어시스턴트 저편에 있다는 것을 말해 줍니다.

사이트를 측정하는 방식이 어떻게 달라지는가

어시스턴트가 진짜 독자라는 사실을 받아들이는 순간, 여러분의 계기판에서 가장 중요한 계기 하나가 갑자기 사라집니다. 표준 분석 도구는 읽기가 여러분의 페이지 위에서 일어난다는 가정 위에 세워져 있습니다. 세션, 스크롤 깊이, 체류 시간, 스크롤을 내려야 보이는 전환 요소 같은 것들이죠. 사람이 Claude를 통해 여러분의 글을 읽을 때는 그중 아무것도 작동하지 않습니다. 어시스턴트는 스크롤도 하지 않고, 전환도 하지 않으며, 정의상 방문할 때마다 이탈합니다. 페이지 위의 참여 지표만으로 콘텐츠를 판단한다면, 가장 빠르게 성장하는 독자층이 통계적으로 보이지 않게 됩니다.

여기서 세 가지 조정이 뒤따르는데, 저는 그 세 가지를 모두 실행하기 시작했습니다.

첫째, AI 에이전트 요청 로그를 보안 지표가 아니라 독자 지표로 다루세요. 저는 이제 페이지별 ChatGPT-User와 Claude-User 요청량을, 사람 순방문자를 추적하듯 똑같이 추적합니다. 그 수치가 ‘어시스턴트가 이 페이지를 얼마나 자주 써서 누군가에게 답하는가’에 대해 제가 가진 가장 근사한 대리 지표이기 때문입니다. 에이전트가 가장 많이 가져가는 페이지가 사람이 가장 많이 클릭하는 페이지와 항상 일치하지는 않으며, 그 간극은 제가 그동안 버려 온 콘텐츠 신호입니다.

둘째, 페이지 위의 순간만을 위한 최적화를 멈추세요. 검색으로 유입된 사람이 훑어보도록 쓴 페이지와, 질문에 답하는 어시스턴트가 깔끔하게 추출하도록 쓴 페이지는 같지 않습니다. 후자의 작업은 상단 근처의 명료하고 자기완결적인 답변, 모호하지 않은 주장, 그리고 가져가는 쪽이 주변 장식 없이도 들어 올릴 수 있는 구조에 보상을 줍니다. 제가 모든 글의 머리에 직접적인 답변 블록을 두는 이유가 바로 이것입니다. 그 블록은 독자를 위한 것인 동시에 배달원을 위한 것이기도 합니다.

셋째, 누가 어디서 왔는지 추적하기가 더 어려워진다는 것을 받아들이고, 대신 그것이 드리우는 그림자를 측정하세요. 저는 Claude-User 페칭 뒤에 있는 사람을 볼 수 없습니다. 제가 볼 수 있는 것은 2차 신호입니다. 이미 어시스턴트를 통해 유입된 채로 제 사이트에 도착하는 사람들, 즉 답변을 읽고 출처가 궁금해져 클릭해 들어온 소수의 흐름입니다. 페칭 규모에 비하면 실개천 수준으로, 1만 5천 건 대 하루 9명이지만, 그것은 보이지 않는 독자층의 눈에 보이는 끄트머리이며, 그 추세야말로 좋은 답변 재료가 된다는 것이 결국 사람들을 출처로 되돌려 보내는지를 보여 주는 정직한 점수판입니다.

그 아래에 깔린 전략

이 모든 것을 독립 사이트에 대한 파멸로 읽고 싶은 유혹이 있습니다. 어시스턴트가 여러분의 콘텐츠를 노천 채굴하듯 파내 대신 답해 주고 사람은 자기가 붙잡아 둔다는 식으로 말이죠. 실제로 정확히 그런 일이 벌어질 때도 있습니다. 하지만 이런 구도는 지나치게 납작합니다. 페칭이 실제로 무엇을 선별하고 있는지를 무시하기 때문입니다.

어시스턴트가 여러분의 페이지를 가져오는 이유는, 질문이 들어온 순간 그 특정 질의에 대해 여러분의 페이지를 이용 가능한 최선의 출처라고 판단했기 때문입니다. 이것은 키워드 순위를 다투던 옛 검색 게임이 아닙니다. 답변 엔진이 정확해야 할 때 손을 뻗는 대상이 되는 일입니다. 여기서의 통화는 백링크나 키워드 밀도가 아니라, 충분히 많은 사람이 묻는 무언가에 대해 증명 가능하고 가져오기 좋은 형태로 옳다는 사실입니다. 정확하고 구체적이며 최신인 페이지는 가져가집니다. 얄팍하게 재탕한 일반 콘텐츠 페이지는 그렇지 않습니다. 모델은 그 일반적인 부분을 이미 알고 있고, 자신이 확실히 담고 있지 못한 무언가가 필요할 때만 손을 뻗기 때문입니다.

그래서 에이전트 트래픽이 만들어 내는 유인은, 모처럼, 진짜로 좋은 페이지를 만드는 일과 일치합니다. 순위 알고리즘에 맞춰 설계된 페이지가 아니라, 진짜 질문에 답하기 위해 가져올 가치가 있는 페이지 말입니다. 측정 가능한 보상은 ‘사람이 도착해서 스크롤했는가’에서 ‘어시스턴트가 이것을 최선의 출처로 판단하고 사람에게 읽어 주었는가’로 옮겨 갔습니다. 저라면 후자에서 경쟁하는 쪽을 택하겠습니다.

취해야 할 입장

어시스턴트를 여러분의 주된 독자로 대하세요. 숫자로 보면 이미 그렇기 때문입니다. 그리고 방문만큼이나 페칭을 위해서도 만드세요. 이제 여러분의 페이지에 있는 사람은 소수 독자이며, 대개는 어시스턴트가 답한 뒤에도 출처를 직접 찾아올 만큼 관심을 가진 사람입니다. 다수 독자는 어시스턴트 자신입니다. 사람의 질문이 부를 때마다 여러분을 실시간으로 가져가면서도, 여러분의 분석 도구에는 결코 손대지 않죠. 이것은 차단해야 할 크롤러 문제가 아닙니다. 이해해야 할 유통 채널이며, 지금 이 순간 대부분의 콘텐츠 사이트가 가진 가장 큰 채널입니다.

앞으로 몇 년 동안의 사이트는 하나가 아니라 두 개의 숫자로 측정됩니다. 눈에 보이는 트래픽, 즉 페이지 위의 사람들이 있고, 추론해야만 하는 트래픽, 즉 여러분이 결코 만나지 못할 사람들에게 답하기 위해 여러분을 읽는 어시스턴트가 있습니다. 제 경우 그 비율은 제가 볼 수 없는 독자 쪽으로 약 66 대 1입니다. 여러분의 비율도 대시보드가 알려 주는 것보다는 그쪽에 더 가까울 거라 짐작합니다. 그 행들이, 제가 노이즈라 이름 붙여 방치했던 바로 그 구석에 여러분도 그대로 두고 있을 테니까요.

핵심 요점

• AI 에이전트 요청을 노이즈가 아니라 독자로 세십시오. 제 사이트에서는 이 요청이 사람의 페이지 도착 수를 대략 66 대 1로 앞지르며, 그 배수보다 구성이 더 중요합니다.¹
• 에이전트 트래픽의 대부분은 학습이 아니라 사용자 요청에 따른 실시간 페칭입니다. ChatGPT-User와 Claude-User는 사람이 방금 자기 어시스턴트에게 무언가를 물었기 때문에 페이지를 가져옵니다. 각 업체가 이를 문서화하고 있으며, Cloudflare는 이를 별도의 에이전트 동작으로 분류합니다.²³⁴
• 학습용 크롤러는 아주 작은 일부에 불과합니다. 사용자 요청 기반 에이전트가 1만 5천 건이 넘는 요청을 보낸 날, GPTBot과 ClaudeBot을 합쳐도 300건 미만이었습니다.¹²³
• 페이지 위 분석은 가장 빠르게 성장하는 독자층을 놓칩니다. 어시스턴트는 스크롤도 전환도 하지 않기 때문에 참여 지표는 에이전트 독자층을 보이지 않게 만듭니다. 대신 페이지별 에이전트 페칭량을 대리 지표로 추적하세요.
• 가져가기 위한 글을 쓰세요. 명료하고 자기완결적인 답변으로 시작하고, 구체적이고 정확하며 최신이 되세요. 답변 엔진은 질문이 들어온 순간 최선의 출처라고 판단한 페이지를 가져오며, 이는 키워드 최적화보다 진짜로 옳은 것에 보상을 줍니다.

자주 묻는 질문

ChatGPT-User와 GPTBot의 차이는 무엇인가요?

GPTBot은 OpenAI의 학습용 크롤러로, 파운데이션 모델 “학습에 사용될 수 있는” 콘텐츠를 수집합니다. ChatGPT-User는 사람이 ChatGPT에 질문할 때 페이지를 가져오는 사용자 요청 기반 에이전트로, OpenAI는 이것이 “자동화된 방식으로 웹을 크롤링하는 데 사용되지 않는다”라고 밝힙니다.² 제 로그에서 둘은 자릿수가 다릅니다. GPTBot이 55건을 보낸 날 ChatGPT-User는 13,128건을 보냈습니다.¹

AI 어시스턴트가 제 웹사이트를 실시간으로 읽고 있나요?

흔히 묻는 질문에 답하는 콘텐츠를 제공한다면, 거의 확실히 그렇습니다. ChatGPT-User, Claude-User, Perplexity-User 같은 에이전트는 사람이 어시스턴트에게 페이지가 답할 수 있는 무언가를 물을 때 실시간으로 페이지를 가져옵니다.²³ 이들은 학습용 크롤러나 검색 인덱서와는 구별되며, 제 사이트에서는 에이전트 트래픽의 지배적인 형태입니다.

이것은 SEO와 어떻게 다른가요?

고전적인 SEO는 사람이 이어서 클릭하는 검색 결과 페이지에서 순위를 올리도록 최적화합니다. 답변 엔진 조회는 어시스턴트가 답변을 작성하기 위해 가져와 읽는 출처가 되도록 최적화하는데, 이 과정에서 사람은 아예 방문하지 않는 경우가 많습니다. 보상은 순위 신호에서, 모델이 정확해야 할 때 여러분의 페이지로 손을 뻗을 만큼 정확하고 구체적이며 최신인 것 쪽으로 옮겨 갑니다.

robots.txt로 AI 에이전트를 차단해야 하나요?

그것은 실제로 고민할 만한 선택이지만, 뭉뚱그리지 말고 동작별로 결정하세요. 학습용 크롤러(GPTBot, ClaudeBot)를 차단하는 것은 여러분의 콘텐츠가 미래 모델을 학습시키는지에 영향을 줍니다. 사용자 요청 기반 에이전트(ChatGPT-User, Claude-User)를 차단하는 것은 어시스턴트가 여러분의 페이지를 써서 실시간으로 사람들에게 답할 수 있는지에 영향을 주는데, 많은 사이트에서 이것이 이제 가장 큰 독자층입니다. 한 가지 알아 둘 만한 유의점이 있습니다. 사용자 요청 기반 에이전트는 학습용 크롤러보다 robots.txt를 지키는 실적이 더 약합니다. 그래서 robots.txt 차단은 실시간 페칭보다 학습에 대해 더 분명한 지렛대이며, 실시간 페칭 쪽에서는 엣지 규칙이 더 믿을 만한 통제 수단일 수 있습니다. Cloudflare의 분류 체계는 이 범주들을 정확히 구분해 두었으므로 각각을 다르게 다룰 수 있습니다.⁴

제 사이트에서 볼 수 없는 독자층은 어떻게 측정하나요?

실시간 페칭 뒤에 있는 사람을 직접 특정할 수는 없으므로, 대신 두 가지를 측정하세요. 하나는 어시스턴트가 각 페이지를 얼마나 자주 사용하는지에 대한 대리 지표로서, 엣지 로그에서 얻는 페이지별 AI 에이전트 요청량입니다. 다른 하나는 보이지 않는 독자층의 눈에 보이는 그림자로서, 이미 어시스턴트를 통해 유입된 채로 도착하는 더 작은 사람 방문자의 흐름입니다.

출처