147 Namen tauchten auf, 28 blieben: die meisten KI-Zitate sind Durchgänge, keine Plätze
Drei identische Durchläufe, fünf Branchen, zwei Engines: zwei von drei genannten Namen erscheinen nur ein einziges Mal. Und der Wert eines Zitats hängt von der Engine ab - bei Perplexity hält jeder zweite, bei Gemini jeder zwanzigste.
19 %
der genannten Namen halten alle drei Durchläufe - 28 von 147
In diesem Artikel
Kurze Antwort: von einer KI genannt zu werden und dort einen Platz zu haben, sind zwei verschiedene Dinge - und der Abstand lässt sich messen. Wir haben dieselbe Frage dreimal hintereinander gestellt, in fünf Branchen, in zwei Sprachen, an zwei Engines. 147 Firmennamen erschienen mindestens einmal. Nur 28 stehen in allen drei Durchläufen. 98 - zwei von drei - erscheinen genau einmal: Durchgänge, keine Plätze.
5 Namen
die mediane Länge einer Empfehlungsliste, nach der Bereinigung
1 zu 2 vs 1 zu 20
die Chance, dass ein Zitat ein stabiler Platz ist - Perplexity vs Gemini
Von 147 Namen, die in drei Durchläufen auftauchten, blieben 28. Die 98, die einmal erschienen, waren keine Plätze: Durchgänge.
Was wir gemessen haben
Dieselbe Referenzfrage wie in allen unseren Messungen seit dem 23. August - „Welche sind die besten X?“ - dreimal hintereinander identisch gestellt, in fünf globalen Branchen, auf Englisch und Französisch, an Perplexity und Gemini. 60 Durchläufe angefragt, 9 API-Fehler, 51 verwertbar, erhoben am Abend des 29. August.
Für jede Kombination aus Branche, Sprache und Engine zählen wir drei Dinge: die Vereinigung (alle Namen, die mindestens einmal erschienen), den Kern (die in allen drei Durchläufen vertretenen) und den Schwanz (die genau einmal erschienenen). Der Kern ist die einzige Liste, auf der man aufbauen kann; der Schwanz ist Zufall, den keine Optimierung anpeilen kann.
Roh- und bereinigte Zahlen werden beide veröffentlicht. Unser Extraktor lässt noch Fragmente durch, die keine Firmennamen sind, und jedes Fragment erfindet einen fiktiven Platz. Nach der Bereinigung enthält eine mediane Antwort 5 Namen (8 roh) - 7 bei Perplexity, 4 bei Gemini, 5 auf Englisch, 4 auf Französisch.
Eine Engine baut einen Kern, die andere kaum
| Kombination | Erschienene Namen | Kern | Kernanteil |
|---|---|---|---|
| Hotelbuchung (en) - Perplexity | 8 | 8 | 100 % |
| Zahlungen (en) - Perplexity | 8 | 7 | 88 % |
| Zahlungen (fr) - Perplexity | 9 | 4 | 44 % |
| CRM (en) - Perplexity | 9 | 3 | 33 % |
| Hotelbuchung (en) - Gemini | 13 | 2 | 15 % |
| CRM (en) - Gemini | 13 | 1 | 8 % |
| Zahlungen (en) - Gemini | 14 | 0 | 0 % |
| Webhosting (en) - Gemini | 12 | 0 | 0 % |
Gleiche Branche, gleiche Sprache, gleicher Tag: Perplexity liefert bei der Hotelbuchung dreimal dieselbe Liste mit 8 Namen - ein Kern von 100 %. Gemini bringt bei den Zahlungen 14 Namen in drei Durchläufen hervor und behält keinen einzigen von einem Durchlauf zum nächsten.
In den sieben Kombinationen, in denen beide Engines antworteten, ist die Rechnung eindeutig: bei Perplexity halten 23 der 47 erschienenen Namen alle drei Durchläufe - jeder zweite. Bei Gemini 3 von 65 - jeder zwanzigste. Ein „Gemini-Zitat“ und ein „Perplexity-Zitat“ sind nicht dieselbe Währung, und ein Score, der beide unkommentiert addiert, mischt Gold mit Spielmarken.
Die mediane Kombination hat gar keinen Kern
Die härteste Zahl dieser Messung ist kein Durchschnitt: der mediane Kern je Kombination ist null. Wählen Sie eine Kombination aus Branche, Sprache und Engine zufällig aus, und der wahrscheinlichste Fall ist, dass dort kein Name drei Durchläufe hält, während fünf Namen einmal durchlaufen und verschwinden. Am Dienstag „von der KI empfohlen“ zu sein, sagt fast nichts über den Mittwoch.
Drei Erhebungsausfälle liegen alle auf der Seite von Perplexity.
Hotelbuchung auf Französisch und Webhosting in beiden Sprachen haben keinen einzigen Perplexity-Durchlauf (API-Ratenlimits). Das Engine-Duell wird deshalb nur auf den sieben Kombinationen gelesen, in denen beide antworteten - daher stammen das 1 zu 2 und das 1 zu 20.
Die Branche der Laufschuhe ist ein Fehler von uns.
Unser Rauschfilter verwirft Bezeichnungen mit Ziffern - aber die Modelle heißen „Pegasus 41“ oder „Clifton 10“. Die Listen dieser Branche kommen nach der Bereinigung fast leer heraus: der Filter leert sie, nicht die Engines. Wir veröffentlichen die Branche unverändert, statt sie stillschweigend zu entfernen.
Drei Durchläufe, ein Abend, zwei Engines: eine Stichprobe, keine Volkszählung.
Drei Durchläufe reichen, um einen Kern von einem Schwanz zu trennen; sie reichen nicht, um die Rotation der Namen zu datieren. Und nichts sagt, dass die nächste Nacht oder Woche dieselben Verhältnisse ergäbe.
Was Sie daraus machen können
Zielen Sie auf den Kern, nicht auf die Liste.
Ein Name, der in drei Durchläufen einmal erscheint, hat keinen „Platz in der KI“: er ist durch einen Durchlauf gegangen. Bevor Sie ein Zitat feiern, fragen Sie, ob es wiederkommt.
Fragen Sie immer, auf welcher Engine.
Derselbe Satz - „Sie werden genannt“ - beschreibt bei Perplexity eine zu 50 % stabile Position und bei Gemini eine 5-%-Lotterie. Ein Bericht, der die Engine nicht nennt, sagt Ihnen nichts.
Messen Sie erneut, identisch, über die Zeit.
Nur so unterscheidet man einen Platz von einem Durchgang - ein einzelner Durchlauf kann es konstruktionsbedingt nicht. Genau darum stellt unser Monitoring dieselbe Frage alle 3 Tage neu.