1.227 Anfragen an llms.txt, null KI-Bots: es gibt keine Datei zum Ablegen
KI-Crawler nehmen Tausende Seiten für jeden zurückgeschickten Besucher, und die Datei, die mit ihnen sprechen soll, liest keiner von ihnen. Was die veröffentlichten Messungen zeigen.
0 von 1.227
Anfragen an llms.txt von einem Crawler der großen Labore, in einer Server-Log-Studie
In diesem Artikel
Kurze Antwort: Sichtbarkeit in KI-Antworten lässt sich nicht konfigurieren. Zwei Messungen sagen es gemeinsam. Auf der einen Seite nehmen die Crawler der großen Modelle Hunderte bis Tausende Seiten für jeden Besucher, den sie zurückschicken. Auf der anderen wird die Datei llms.txt, die die Branche an die Wurzel der Websites zu legen begann, von keinem verifizierten Crawler der großen Labore abgerufen, und Google erklärt, sie zu ignorieren. Es gibt keine Hintertür: entschieden wird im Korpus.
3.389 : 1
Seiten, die Mistrals Crawler pro zurückgeschicktem Besucher nimmt (Cloudflare Radar, Juli 2026)
keine
messbare Korrelation zwischen dem Veröffentlichen von llms.txt und dem Zitiertwerden, über rund 300.000 Domains
Es gibt keine Datei, die man an die Wurzel legt, um in einer KI-Antwort vorzukommen. Sichtbarkeit wird im Korpus erworben, nicht erklärt.
Der Austausch ist schief, und er lässt sich zählen
Cloudflare veröffentlicht eine einfache und brutale Kennzahl: das Verhältnis zwischen der Zahl der Seiten, die eine KI-Plattform auf einer Website liest, und der Zahl der Besucher, die sie ihr zurückschickt. Die Definition ist mechanisch. Man zählt die HTML-Anfragen der Agenten einer Plattform und teilt sie durch die HTML-Anfragen, deren Verweis-Header den Namen dieser Plattform trägt.
| Plattform | Genommene Seiten je zurückgeschicktem Besucher |
|---|---|
| Mistral | 3.389 : 1 |
| Anthropic | 2.237 : 1 |
| OpenAI (GPTBot) | 217 : 1 |
| DuckDuckGo | 2,5 : 1 |
Die Größenordnung zählt mehr als die Nachkommastelle, und sie hat sich 2026 stark bewegt: Anthropics Verhältnis lag im ersten Quartal in den Zehntausenden, bevor es im Sommer auf einige Tausend fiel. Die Richtung stimmt, das Ungleichgewicht bleibt vollständig. Für eine Website heißt das: das maschinelle Lesen ist bereits die Norm, während der menschliche Besuch, der es bezahlte, zur Ausnahme wird.
Eine Präzisierung, die Cloudflare selbst macht und die in der Wiedergabe oft entfällt: der von Claudes nativer Anwendung verwiesene Verkehr trägt keinen Verweis-Header. Diese Verweise fehlen daher im Nenner, und Cloudflare schreibt, seine Verhältnisse könnten das Ungleichgewicht überzeichnen, ohne sagen zu können, um wie viel. Die Richtung des Befundes hält; seine Genauigkeit nicht.
Die Datei, die niemand liest
Angesichts dieses Ungleichgewichts schlug die Branche eine einfache Antwort vor: llms.txt, eine an der Wurzel abgelegte Datei, die den Modellen sagt, was und wie sie lesen sollen. Die Idee ist bestechend. Sie hat einen Fehler: die Crawler fragen sie nicht ab.
Eine Server-Log-Studie von September 2025 bis April 2026 über rund 900 Domains verzeichnete 1.227 Anfragen an diese Dateien, und nicht eine einzige von einem verifizierten Crawler der großen Labore - kein GPTBot, kein ClaudeBot, kein PerplexityBot, kein Google-Extended. Die Abrufer waren ein kommerzieller Datenaggregator mit 794 Anfragen, also 64,7 %, und menschliche Browser mit 392, also 31,9 %. Mit anderen Worten: Wer die Datei liest, sind jene, die Werkzeuge darum herum verkaufen, und die Neugierigen.
Die Verbreitungsquote wiederum hängt ganz davon ab, wen man betrachtet, und deshalb liest man alles und sein Gegenteil.
| Gemessene Stichprobe | Verbreitung |
|---|---|
| Panel aus 218 entwicklerorientierten Hosts (August 2026) | 51,8 % |
| Tranco Top 1.000, erreichbare Wurzeln (Juni 2026) | 15,8 % |
| Rund 300.000 Domains (November 2025) | 10,13 % |
| Tranco Top 1.000, insgesamt (Juni 2026) | 8,7 % |
Und bei der Frage, die alles entscheidet, findet die Korrelationsstudie über rund 300.000 Domains keinen messbaren Zusammenhang zwischen dem Veröffentlichen dieser Datei und dem Zitiertwerden durch die Modelle. Das Entfernen der Variablen verbesserte sogar die Genauigkeit des statistischen Modells, was die höfliche Art ist zu sagen, dass sie Rauschen beitrug.
Was Google offiziell dazu sagt
Die Position ist nicht mehrdeutig. Googles Dokumentation, aktualisiert im Juni 2026, hält fest, dass die Datei keine Wirkung hat, weder positiv noch negativ, auf das Ranking in der Suche oder in den AI Overviews, und dass die Suche sie schlicht ignoriert. Das Chrome-Team fügte im Mai 2026 seinerseits eine llms.txt-Prüfung zu Lighthouse hinzu, aber unter den Audits für agentisches Browsen und nicht unter den SEO-Audits, und sie meldet nur einen Serverfehler, nie eine fehlende Datei.
Diese Einordnung sagt viel: Die Datei wird als Objekt für Agenten behandelt, die im Auftrag eines Nutzers das Web durchlaufen, nicht als Ranking-Signal. Sie abzulegen kostet fast nichts und schadet nicht. Man sollte davon nur keine Sichtbarkeit erwarten.
Warum es keine Datei zum Ablegen gibt
Die beiden Messungen antworten einander. Die Modelle lesen das offene Web massiv, Ihre Seiten eingeschlossen, und sie tun es, ohne durch eine Tür zu gehen, die Sie geöffnet hätten. Was sie über Sie behalten, stammt daher nicht aus einer Erklärung an der Wurzel Ihrer Domain, sondern aus dem, was über Sie in einem Korpus gesagt wird, den Sie nicht kontrollieren.
Das ist die genaue Verlängerung dessen, was der Vergleich zwischen den Maschinen zeigt: Sie lesen nicht dieselben Quellen und sind sich dennoch bei den empfohlenen Namen weit einiger. Eine Konfigurationsdatei kann dagegen nichts ausrichten, in keiner Richtung. Was wiegt, ist die Stimmigkeit dessen, was über Sie geschrieben steht, überall, und die Möglichkeit einer Maschine, es zuzuordnen.
Ein Crawl-Verhältnis ist eine Momentaufnahme, keine Konstante.
Cloudflares Zahlen bewegen sich von Monat zu Monat und fielen im Lauf von 2026 um eine Größenordnung. Eine Juli-Erhebung mit einer vom März zu vergleichen ergibt keinen Sinn, und wir haben sie nicht selbst gemessen.
Cloudflare warnt, dass die eigenen Verhältnisse das Ungleichgewicht überzeichnen können.
Verweise aus Claudes nativer Anwendung senden keinen Verweis-Header und fehlen daher im Nenner. Das Unternehmen sagt es und hält fest, das Ausmaß der Verzerrung nicht zu kennen: wir tragen die Warnung mit der Zahl weiter.
Die Server-Log-Studie ist klein.
1.227 Anfragen über rund 900 Domains: genug, um festzustellen, dass dort kein Crawler der großen Labore auftaucht, nicht genug, um zu behaupten, es werde nie einer tun, und nicht genug, um für das ganze Web zu sprechen.
Die Verbreitungsquoten sind untereinander nicht vergleichbar.
Von 8,7 % bis 51,8 % je nach Stichprobe, für denselben Gegenstand: Der Unterschied liegt in der beobachteten Grundgesamtheit, nicht in einer Entwicklung. Ein Artikel, der nur eine davon nennt, ohne zu sagen welche, lehrt Sie nichts.
Was sich dadurch ändert
Verlassen Sie sich nicht auf eine Datei.
llms.txt abzulegen ist billig und harmlos, aber keine veröffentlichte Messung verbindet sie mit einer Nennung. Es ist kein Sichtbarkeitshebel, bestenfalls eine Höflichkeit gegenüber Agenten, die es noch nicht gibt.
Lesen Sie Ihre eigenen Logs.
Eine Abfrage sagt Ihnen, welche Crawler zu Ihnen kommen, wie oft und was sie anfordern. Es ist das einzige Datum dieses Dossiers, das Sie selbst erzeugen können, und es schlägt jeden weltweiten Durchschnitt.
Entscheiden Sie, was Sie nehmen lassen.
Das Verhältnis zwischen gelesenen Seiten und zurückgeschickten Besuchern ist eine Verhandlung, kein Schicksal. Einen Agenten zuzulassen, zu bremsen oder zu blockieren ist eine geschäftliche Entscheidung, die Ihnen gehört, Crawler für Crawler.
Messen Sie die Nennung, nicht die Konformität.
Technische Kästchen abgehakt zu haben sagt nichts über Ihre Präsenz in einer Antwort. Die nützliche Frage bleibt: Kommt Ihr Name vor, auf welcher Maschine, und neben wem.