llms.txt로 간 1,227건의 요청, AI 크롤러는 0건: 놓을 파일 같은 것은 없다

짧은 답: AI 답변에서의 가시성은 설정으로 얻어지지 않는다. 두 측정이 함께 그렇게 말한다. 한편으로 대형 모델의 크롤러는 돌려보내는 방문자 한 명당 수백에서 수천 개의 페이지를 가져간다. 다른 한편으로 업계가 사이트 최상위에 놓기 시작한 llms.txt 파일은 주요 연구소의 검증된 크롤러 그 어느 것도 요청하지 않으며, 구글은 그것을 무시한다고 밝혔다. 뒷문은 없다. 판가름은 말뭉치 안에서 난다.

AI 답변 안에 존재하기 위해 최상위에 놓을 파일 같은 것은 없다. 가시성은 말뭉치 안에서 얻는 것이지 선언하는 것이 아니다.

교환은 기울어져 있고, 셀 수 있다

Cloudflare는 단순하고 가혹한 지표를 공개한다. 어떤 AI 플랫폼이 사이트에 읽으러 오는 페이지 수와, 그 사이트로 돌려보내는 방문자 수의 비율이다. 정의는 기계적이다. 한 플랫폼의 에이전트에서 온 HTML 요청을 세고, 참조 헤더에 그 플랫폼 이름이 담긴 HTML 요청으로 나눈다.

소수점보다 자릿수가 중요하며, 그 자릿수는 2026년에 크게 움직였다. Anthropic의 비율은 1분기에 수만 단위로 세어졌다가 여름에는 수천 단위로 떨어졌다. 방향은 옳고, 불균형은 그대로 남아 있다. 사이트로서는 기계의 읽기가 이미 표준이 되었고, 그것을 지탱하던 사람의 방문이 예외가 되어간다는 뜻이다.

Cloudflare가 스스로 덧붙였고 인용에서는 흔히 빠지는 단서가 있다. Claude의 네이티브 앱에서 오는 유입은 참조 헤더를 싣지 않는다. 그 유입은 분모에서 보이지 않으며, Cloudflare는 자사의 비율이 불균형을 과장할 수 있다고 쓰면서 그 정도는 알 수 없다고 밝힌다. 결론의 방향은 유지되지만 정밀도는 유지되지 않는다.

아무도 읽지 않는 파일

이 불균형 앞에서 업계는 단순한 답을 내놓았다. llms.txt, 사이트 최상위에 놓아 무엇을 어떻게 읽을지 모델에게 알려주는 파일이다. 착상은 매력적이다. 결함이 하나 있다. 크롤러가 그것을 요청하지 않는다.

2025년 9월부터 2026년 4월까지 약 900개 도메인에서 진행된 서버 로그 연구는 이 파일들에 대한 요청 1,227건을 기록했고, 그중 주요 연구소의 검증된 크롤러에서 온 것은 단 하나도 없었다 - GPTBot도, ClaudeBot도, PerplexityBot도, Google-Extended도 없었다. 요청한 쪽은 상업용 데이터 수집업체가 794건으로 64.7%, 사람의 브라우저가 392건으로 31.9%였다. 달리 말하면, 이 파일을 읽는 이들은 그 주변에서 도구를 파는 이들과 호기심 많은 이들이다.

채택률은 누구를 보느냐에 따라 완전히 달라진다. 그래서 정반대되는 이야기가 함께 읽힌다.

그리고 모든 것을 가르는 물음에 대해, 약 30만 개 도메인에서 수행된 상관 연구는 이 파일을 게시하는 것과 모델에 인용되는 것 사이에 측정 가능한 연관을 전혀 찾지 못했다. 그 변수를 빼자 통계 모형의 정확도가 오히려 좋아졌는데, 이는 그 변수가 잡음을 보태고 있었다는 말의 정중한 표현이다.

구글이 공식적으로 말하는 것

입장은 모호하지 않다. 2026년 6월에 갱신된 구글 문서는 이 파일이 검색 순위에도 AI Overviews에도 긍정이든 부정이든 아무 영향이 없으며, 검색은 그저 무시한다고 적고 있다. Chrome 팀은 2026년 5월 Lighthouse에 llms.txt 점검을 추가했지만 SEO 감사가 아니라 에이전트 브라우징 감사로 분류했고, 알리는 것은 서버 오류뿐이며 파일 부재는 결코 알리지 않는다.

이 분류가 많은 것을 말해준다. 이 파일은 사용자를 대신해 웹을 도는 에이전트를 위한 대상으로 취급되지, 순위 신호로 취급되지 않는다. 놓는 데 드는 비용은 거의 없고 해도 없다. 다만 거기서 가시성을 기대해서는 안 된다.

왜 놓을 파일이 없는가

두 측정은 서로에게 답한다. 모델들은 열린 웹을 대량으로 읽으며 당신의 페이지도 거기 포함된다. 그리고 그것은 당신이 열어둔 문을 통해서가 아니다. 따라서 그들이 당신에 대해 간직하는 것은 당신 도메인 최상위에서 한 선언에서 오지 않고, 당신이 통제하지 못하는 말뭉치 안에서 당신에 대해 말해지는 것에서 온다.

이는 엔진 간 비교가 보여주는 것의 정확한 연장이다. 그들은 같은 출처를 읽지 않으면서도 추천하는 이름에서는 훨씬 더 일치한다. 설정 파일은 그에 대해 아무것도 할 수 없다. 어느 방향으로도 그렇다. 무게가 실리는 것은 당신에 대해 쓰인 것의 일관성이며, 기계가 그것을 귀속시킬 수 있는지 여부다.

이것이 바꾸는 것