llms.txt への1,227件の要求、AIの巡回ロボットはゼロ。置くべきファイルなど存在しない
AIの巡回ロボットは返す訪問者ひとりにつき数千のページを持ち去り、それに語りかけるはずのファイルはどれにも読まれていない。公開された計測が示すこと。
1,227件中0件
サーバー記録の調査で、主要研究所のロボットから来た llms.txt への要求
短い答え。AIの回答における可視性は、設定では手に入らない。 二つの計測がそろってそう告げる。一方で、大規模モデルの巡回ロボットは、返す訪問者ひとりにつき数百から数千のページを持ち去る。他方で、業界が各サイトの直下に置き始めた llms.txt というファイルは、主要な研究所の検証済みロボットのどれからも要求されておらず、Googleはこれを無視すると明言している。裏口は存在しない。勝負は資料体の中で決まる。
3,389 : 1
返す訪問者ひとりあたり、Mistralの巡回ロボットが持ち去るページ数（Cloudflare Radar、2026年7月）
なし
約30万のドメインで測った、llms.txt の公開と引用されることの相関
AIの回答の中に存在するために直下へ置くべきファイルなど存在しない。可視性は資料体の中で得られるものであり、宣言するものではない。
やり取りは釣り合っておらず、数えられる
Cloudflareは単純で容赦のない指標を公表している。あるAIの基盤がサイトに読みに来るページ数と、そのサイトへ送り返す訪問者数との比である。定義は機械的だ。ある基盤の代理プログラムから来たHTML要求を数え、参照元の見出しにその基盤の名を持つHTML要求で割る。
| 基盤 | 返す訪問者ひとりあたりに持ち去るページ数 |
|---|---|
| Mistral | 3,389 : 1 |
| Anthropic | 2,237 : 1 |
| OpenAI（GPTBot） | 217 : 1 |
| DuckDuckGo | 2.5 : 1 |
小数よりも桁が重要であり、その桁は2026年に大きく動いた。Anthropicの比は第1四半期には数万で数えられていたが、夏には数千まで下がった。方向は正しく、不均衡はそのまま残っている。サイトにとってこれは、機械による読み取りがすでに常態であり、それを支えていた人間の訪問のほうが例外になりつつある、ということだ。
Cloudflare自身が付している注意で、引き写しではしばしば落ちるものがある。Claudeの純正アプリから送られる流入は参照元の見出しを持たない。 その送り出しは分母から見えないため、Cloudflareは自社の比が不均衡を過大に見せている可能性があると書き、その程度は分からないとしている。結論の向きは保たれるが、その精度は保たれない。
誰も読まないファイル
この不均衡を前に、業界は単純な答えを出した。llms.txt、すなわちサイトの直下に置き、何をどう読むべきかをモデルに告げるファイルである。着想は魅力的だ。ひとつ欠点がある。巡回ロボットがそれを要求しない。
2025年9月から2026年4月まで約900のドメインで行われたサーバー記録の調査は、これらのファイルへの要求を1,227件記録し、そのうち主要研究所の検証済みロボットからのものは一件もなかった - GPTBotもClaudeBotもPerplexityBotもGoogle-Extendedも来ていない。要求していたのは商用のデータ集約業者が794件で64.7%、人間の閲覧ソフトが392件で31.9%だった。言い換えれば、このファイルを読んでいるのは、その周辺で道具を売る者と、物好きである。
普及率のほうは、誰を見るかで完全に変わる。だからこそ、正反対のことが同時に読まれる。
| 測った標本 | 普及率 |
|---|---|
| 開発者寄りの218ホストの一群（2026年8月） | 51.8% |
| Tranco上位1,000、到達可能なもの（2026年6月） | 15.8% |
| 約30万ドメイン（2025年11月） | 10.13% |
| Tranco上位1,000、全体（2026年6月） | 8.7% |
そして、すべてを決める問いについて、約30万ドメインで行われた相関の調査は、このファイルを公開することとモデルに引用されることのあいだに、測定できる関連を見いだしていない。 その変数を外すと統計模型の当てはまりがむしろ良くなった。これは、その変数が雑音を持ち込んでいたと言うための丁寧な言い方である。
Googleが公式に述べていること
立場に曖昧さはない。2026年6月に更新されたGoogleの文書は、このファイルが検索順位にもAI Overviewsにも良い影響も悪い影響も一切与えないとし、検索は単にこれを無視すると記している。Chromeの側は2026年5月にLighthouseへ llms.txt の点検を加えたが、SEOの点検ではなく代理閲覧の点検に分類しており、報せるのはサーバー側の誤りだけで、ファイルの不在は決して報せない。
この分類が多くを語っている。このファイルは、利用者に代わって web を巡る代理プログラム向けの物として扱われており、順位づけの信号としては扱われていない。置くこと自体はほとんど費用がかからず、害もない。ただ、そこから可視性を期待してはならない。
なぜ置くべきファイルが存在しないのか
二つの計測は互いに応じ合っている。モデルは開かれた web を大量に読んでおり、あなたのページもそこに含まれる。しかもそれは、あなたが開けた扉を通ってではない。したがってモデルがあなたについて保持するものは、あなたのドメイン直下でなされた宣言に由来するのではなく、あなたが制御していない資料体の中であなたについて語られていることに由来する。
これは、エンジン同士の比較が示すことの正確な延長である。彼らは同じ情報源を読まないのに、推奨する名前についてははるかに一致する。設定ファイルはそれに対して何もできない。どちらの向きにもだ。重いのは、あなたについて書かれていることの一貫性であり、機械がそれを帰属させられるかどうかである。
収集の比は瞬間の写しであって、定数ではない。
Cloudflareの数値は月ごとに動き、2026年のあいだに一桁下がった。7月の採録と3月の採録を比べることに意味はなく、私たち自身が測ったものでもない。
Cloudflareは自社の比が不均衡を過大に見せうると警告している。
Claudeの純正アプリからの送り出しは参照元の見出しを送らないため、分母から欠けている。同社はそう述べ、偏りの大きさは分からないと明記している。私たちは数値とともにその警告も伝える。
サーバー記録の調査は小さい。
約900ドメインで1,227件の要求。主要研究所のロボットがそこに現れないと確かめるには足りるが、今後も決して現れないと断じるには足りず、web 全体を代弁するにも足りない。
普及率は互いに比較できない。
同じ対象について標本次第で8.7%から51.8%まで開く。違いは観測された母集団にあり、時間による変化ではない。どれか一つだけを、どれかも言わずに引く記事は、何も教えない。
何が変わるのか
ファイルに頼らない。
llms.txt を置くのは安価で無害だが、公開されたどの計測もそれを引用と結びつけていない。可視性の梃子ではなく、まだ存在しない代理プログラムへの礼儀にすぎない。
自分の記録を読む。
問い合わせひとつで、どの巡回ロボットが、どれほどの頻度で、何を求めて来ているかが分かる。この件で自分の手で作れる唯一の資料であり、世界平均よりよほど役に立つ。
何を持ち去らせるかを決める。
読まれたページ数と返される訪問者数の比は交渉であって、宿命ではない。ある代理プログラムを許すか、遅くするか、遮るかは、あなたに属する商いの判断であり、ロボットごとに下すものだ。
適合ではなく、引用を測る。
技術的な項目に印を付けたことは、回答の中の存在について何も語らない。有用な問いは変わらない。あなたの名前は出るのか、どのエンジンで、誰の隣に。