Erklären die zitierten Quellen die Empfehlung wirklich? 128 einzeln überprüft
Wir haben die Seiten gelesen, die die KI angibt konsultiert zu haben, und dort nach der empfohlenen Marke gesucht. 128 von 128 Marken, im Median von sechs Seiten zitiert.
In diesem Artikel
Kurze Antwort: ja. Von 128 durch Perplexity empfohlenen Unternehmen erscheinen alle 128 auf mindestens einer der Seiten, die die Maschine als konsultiert ausweist. Der Median liegt bei sechs zitierenden Seiten von zwölf geprüften Quellen. Die Zitate sind keine Dekoration: Sie tragen die Antwort tatsächlich.
Dieser Artikel existiert, weil der gestrige mit einem Vorbehalt endete, den wir selbst geschrieben hatten: „Wir messen, was gelesen wird, nicht, was überzeugt hat.“ Eine zitierte Seite ist nicht zwangsläufig die, die einen Namen auf die Liste gebracht hat. Den eigenen Vorbehalt schlafen zu lassen, macht ihn zur Stilfigur. Er lässt sich klären, also haben wir ihn geklärt.
Würden die Quellen die Empfehlungen nicht erklären, wäre alles, was wir seit drei Tagen darüber veröffentlichen, wo man zitiert werden soll, ein Rat ohne Fundament. Das ist die Art Prüfung, die man besser an sich selbst vornimmt.
Was wir genau gemessen haben
Wir gehen von den am 24. August erhobenen Antworten aus - fünf globale Branchen, kein Land genannt. Zu jeder haben wir zwei Dinge: den Text, also die empfohlenen Unternehmen, und die zitierten URLs. Es bleibt nur, diese Seiten zu lesen und zu prüfen, ob der empfohlene Name darin steht.
Die Falle entscheidet alles, und sie ist brutal. Eine Seite, die wir nicht lesen können - Zugriff verweigert, Zeitüberschreitung, in JavaScript aufgebauter Inhalt -, ließe eine Marke „nicht gestützt“ erscheinen, obwohl sie es womöglich ist. Wir würden dann das spektakulärste Ergebnis des Artikels aus unseren eigenen Erhebungsfehlern fabrizieren. Wir haben deshalb in drei Zustände eingeteilt, nie in zwei:
| Zustand | Bedeutung |
|---|---|
| Gestützt | die Marke erscheint auf mindestens einer zitierten Seite |
| Nicht gestützt | alle zitierten Seiten wurden gelesen, die Marke steht nicht darin |
| Unbestimmt | mindestens eine zitierte Seite blieb unlesbar |
Die veröffentlichte Quote wird nur über die geklärten Fälle berechnet, und der Anteil der Unbestimmten steht daneben: 254 der 300 zitierten Seiten konnten gelesen werden, also 85 %. Wir weisen uns als Roboter aus und geben uns nicht als Browser aus - eine Seite, die Roboter ablehnt, darf uns ablehnen, und das zählt als „unlesbar“, nicht als Tatsache.
Das Ergebnis
| Befund | Anzahl |
|---|---|
| Von mindestens einer zitierten Seite gestützt | 128 |
| Nicht gestützt | 0 |
| Unbestimmt (unlesbare Seite) | 6 |
| Quote über die geklärten Fälle | 100 % |
Und die Stützung ist nicht dünn. Die mediane empfohlene Marke erscheint auf sechs der zwölf geprüften Seiten, im Mittel auf 5,9. Das ist kein Zufall des Wortschatzes, sondern Konvergenz.
Die neun Prozent, die an einer einzigen Seite hängen
11 von 128 Marken werden von genau EINER zitierten Seite gestützt. Das ist die handlungsrelevanteste Zahl der Messung, und sie liest sich in beide Richtungen.
Als Hebel: In diesen Fällen genügte eine einzige Seite, um einen Namen in die Antwort zu bringen. Ein nationales Vergleichsportal, ein Fachpresseartikel, ein Beitrag auf einer lokalen Plattform - eine Seite, und das Unternehmen existiert für den Assistenten. Das macht eine Quellenstrategie konkret statt beschwörend.
Als Zerbrechlichkeit: Werden Sie von einer einzigen Seite zitiert, hängt Ihre Präsenz an ihr. Diese Seite ändert ihre Platzierung, verschwindet oder wird nicht mehr gelesen - und Sie verschwinden aus der Antwort, ohne dass sich bei Ihnen irgendetwas geändert hätte.
Was dieses Ergebnis zu sagen erlaubt, und was nicht
Es erlaubt die Aussage, dass die Quellenliste ein echter Hebel ist. Da Empfehlungen tatsächlich von dem getragen werden, was die Maschine gelesen hat, und da - das war die Messung des Vortags - diese Seiten national, wenige und je Branche und Sprache identifizierbar sind, wirkt die Arbeit daran, dort zu erscheinen, auf die Ursache und nicht auf ein Symptom.
Es erlaubt nicht die Aussage, dass das Erscheinen auf einer Seite genügt, um empfohlen zu werden. Wir haben gezeigt, dass jede Empfehlung auf einer Quelle beruht; wir haben nicht gezeigt, dass jede Quelle eine Empfehlung erzeugt. Zitierte Seiten nennen weit mehr Unternehmen, als die Maschine behält. Dort zu stehen ist eine Bedingung, kein Freifahrtschein.
Jede Empfehlung beruht auf einer gelesenen Seite. Nicht jede gelesene Seite erzeugt eine Empfehlung. Beides zu verwechseln hieße, Luftschlösser zu verkaufen.
Ein Mangel auf unserer Seite, nicht auf ihrer
Dieselbe Messung brachte ein Problem in unserem Werkzeug ans Licht. Unser Namensextraktor lieferte 200 Einträge; 66, also ein Drittel, waren keine Unternehmensnamen - Ranglisten-Label, die an ihren Zitatmarkern klebten, etwa `Best overall: HubSpot CRM[2][3][4][6]`, oder Ratgeber-Einleitungen („Für die meisten Menschen“).
Wir haben diese 66 vor der Berechnung ausgesondert, weshalb dieser Artikel von 128 Marken spricht und nicht von 200. Ein Detail, das zählt: Die einzigen fünf „nicht gestützten“ Fälle der Rohmessung waren allesamt Artefakte dieser Art - keiner war eine unbegründete Empfehlung. Die Korrektur steht in der Warteschlange. Wir sagen es hier, weil eine Zahl, deren Bereinigung verschwiegen wird, keine Zahl ist.
Die Grenzen
Nur eine Maschine.
Perplexity ist die einzige der drei, die verwertbare URLs liefert. Gemini verbirgt seine hinter Weiterleitungen, und ChatGPT über die API sucht überhaupt nicht. Dieses Ergebnis gilt für eine Maschine, die sucht, nicht für „die KI“ im Allgemeinen.
Fünf Sprachen.
Englisch, Französisch, Portugiesisch, Spanisch, Deutsch - jene, in denen unser Namensextraktor geprüft ist. Auf Japanisch, Koreanisch, Polnisch und Arabisch liefert er noch Abschnittsüberschriften; die Genauigkeit eines Zitats mit einem Extraktor zu messen, der den Namen verfehlt, erzeugte Rauschen im Gewand eines Ergebnisses.
Ein einziger Tag
, und Assistenten sind nicht deterministisch: Zwei Durchläufe desselben englischen Prompts überschneiden sich nur zu 62-76 %.
Vorhandensein ist keine Ursache.
Der Name steht auf der zitierten Seite - das beweist nicht, dass diese Seite entschieden hat. Wir haben die gestrige Frage verengt, nicht aufgelöst.
Wir versprechen niemandem einen Platz in den Antworten von ChatGPT - das kann niemand seriös. Messbar ist, wo Sie stehen, je Sprache und je Maschine, und auf welchen Seiten dieser Stand beruht.