„Erster in der KI“: Der Platz hält, aber es gibt einen je Sprache und je Maschine
Fünfmal dieselbe Frage: Die zuerst genannte Marke bleibt in 81 % der Fälle dieselbe. Das Problem ist nicht die Stabilität - es gibt keinen EINEN ersten Platz.
81 %
der Kombinationen behalten über fünf identische Durchläufe dieselbe erste Marke
In diesem Artikel
Kurze Antwort: Der erste Platz ist recht stabil, und genau das macht den Satz „wir sind Erster in der KI“ irreführend. Stellen Sie fünfmal exakt dieselbe Frage: Die zuerst genannte Marke ändert sich in 81 % der Fälle nicht. Wechseln Sie aber Sprache oder Maschine, ist es nicht mehr dieselbe Marke.
1 Platz
die mediane Bewegung einer Marke zwischen zwei Durchläufen - jede zweite bewegt sich gar nicht
100
Durchläufe, null Fehlschläge: 4 Branchen x 2 Sprachen x 2 Maschinen, je fünfmal
Beim Webhosting steht Hostinger auf Englisch, Französisch und Spanisch vorn - und IONOS auf Deutsch, auf beiden Maschinen. Bei Zahlungen ist es fast überall Stripe, auf Spanisch bei Gemini jedoch Redsys. Bei der Hotelbuchung nennt Perplexity Booking.com zuerst und Gemini Google Travel, am selben Tag, in derselben Sprache.
Es gibt nicht einen ersten Platz. Es gibt einen je Sprache und je Maschine, und nichts garantiert, dass sie einander gleichen.
Was wir gemessen haben
Dieselbe Referenzfrage, die alle unsere Messungen seit dem 23. August verwenden, fünfmal hintereinander je Kombination gestellt. Vier globale Branchen, zwei Sprachen, zwei Assistenten, die suchen. 100 Durchläufe, null Fehlschläge. Zwischen zwei Durchläufen ändert sich nichts: nicht die Branche, nicht die Sprache, nicht die Maschine, nicht der Tag. Nur der Zufall des Assistenten spricht.
Die Bereinigung kommt vor der Reihung, und das ist kein Detail. Unser Extraktor lässt noch Fragmente durch, die keine Firmennamen sind. Landen sie auf Platz eins, erzeugen sie eine Instabilität, die unsere ist und nicht die der Maschine. Wir behalten daher nur Namen, die wiederkehren, und reihen danach.
Der erste Platz hält
| Messgröße | Roh | Nach Label-Korrektur |
|---|---|---|
| Kombinationen mit gleichbleibender erster Marke | 12/16 (75 %) | 13/16 (81 %) |
| Marken, die sich keinen Platz bewegen | 50 % | 50 % |
| Mediane Bewegung einer Marke | 1 Platz | 1 Platz |
| Größte beobachtete Bewegung | 5 Plätze | 5 Plätze |
Jede zweite Marke steht bei jeder Wiederholung auf exakt demselben Rang. Die mediane Bewegung beträgt einen Platz. Anders als oft behauptet, ist die Reihenfolge keine Lotterie.
Zuerst kamen wir auf 38 %, und diese Zahl war falsch: Fragmente wie „small teams“ oder „performance“ besetzten den ersten Platz. Bereinigen vor dem Reihen ergibt 75 %, und 81 %, sobald „hubspot crm“ und „hubspot“ zusammengeführt sind, die dasselbe Unternehmen benennen. Die Instabilität, die wir veröffentlichen wollten, war unsere eigene.
Doch es gibt acht erste Plätze, nicht einen
| Branche | Perplexity | Gemini |
|---|---|---|
| Zahlungen (en und fr) | Stripe | Stripe |
| Hotelbuchung (en) | Booking.com | Google Travel |
| Hotelbuchung (fr) | Booking.com | Booking.com |
| Webhosting (en und fr) | Hostinger | Hostinger, außer auf Englisch |
| CRM (en) | HubSpot | HubSpot |
| CRM (fr) | kein stabiler Erster | kein stabiler Erster |
Und die Messung vom 24. August, über mehr Sprachen, verlängert die Tabelle. Auf Deutsch ist der zuerst genannte Hoster weder Hostinger noch ein globaler Anbieter: Es ist IONOS, auf beiden Maschinen. Perplexity nennt es wörtlich „in mehreren Vergleichen auf Platz 1 bzw. Testsieger“. Auf Spanisch bringt Gemini bei Zahlungen Redsys hervor - das spanische Bankennetz - „muy utilizada en el mercado español“. Beide Unternehmen sind in den anderen Sprachen unsichtbar.
Ein deutscher Hoster ist in Deutschland Erster. Auf Englisch existiert er nicht. Beide Aussagen stimmen zugleich.
Der Fall des französischen CRM
Es ist die einzige Kombination unserer Messung, in der keine Marke den ersten Platz hält. Bei Gemini ergeben fünf Durchläufe derselben Frage drei verschiedene Erste: Freshsales, HubSpot, monday. Bei Perplexity wechselt Pipedrive mit einem Label ab, das nicht einmal ein Unternehmen ist.
Dort gibt es keinen Platzhirsch zu verdrängen, und das ist eine kaufmännische Information: In diesem Markt ist der erste Platz frei. Anderswo - Stripe bei Zahlungen, Hostinger beim englischsprachigen Hosting - hält ihn bei jedem Durchlauf dieselbe Marke.
Was daraus folgt
Ein Satz wie „wir sind Erster in ChatGPT“ ist nicht falsch, sondern unvollständig.
Erster in welcher Sprache, auf welcher Maschine, bei welcher Formulierung? Ohne diese drei Angaben lässt er sich nicht prüfen.
Übertragen Sie einen ersten Platz nicht von einem Markt auf den anderen.
Führend auf Englisch sagt nichts über Deutsch, wo ein nationaler Anbieter den Platz halten kann - und ihn auf beiden Maschinen zugleich hält.
Prüfen Sie, ob die Spitze besetzt ist, bevor Sie sie angreifen.
Kehrt bei jedem Durchlauf dieselbe Marke wieder, ist der erste Platz eine Wand. Wechselt sie jedes Mal, wie beim französischen CRM, ist er offen.
Ein einzelner Durchlauf begründet keinen Rang.
Die Hälfte der Marken bewegt sich nicht, die andere Hälfte schon - in unserer Messung um bis zu fünf Plätze. Eine Position stellt man über mehrere Wiederholungen fest, nie über einen Screenshot.
Die Grenzen
Vier Branchen, zwei Sprachen, zwei Maschinen im wiederholten Teil.
Laufschuhe sind ausgenommen: Die Antworten nennen dort nummerierte Modelle, die unser Extraktor verwirft, was ein Ergebnis erzeugte, das keines war.
Die auf Deutsch und Spanisch erweiterte Tabelle stammt aus der Erhebung vom 24. August
, mit einem einzigen Durchlauf je Kombination. Sie zeigt, dass der Erste je Sprache verschieden ist; sie belegt nicht dessen Stabilität in jenen Sprachen, mangels Wiederholungen.
Unser Extraktor bleibt unvollkommen
, und in einer Kombination steht auch nach der Korrektur noch ein Fragment an der Spitze. Wir veröffentlichen beide Rechnungen statt einer und benennen, was übrig bleibt.
„Erster“ heißt hier: zuerst im Text der Antwort genannt.
Es ist keine Rangliste, die die Maschine veröffentlicht, sondern die Reihenfolge ihrer Aufzählung. Wir unterstellen ihr keine Absicht zu ranken.
Wir versprechen niemandem einen Platz in den Antworten von ChatGPT - das kann niemand seriös. Messbar ist, wo Sie stehen: je Sprache, je Maschine, je gestellter Frage. Auch dann, wenn die Antwort lautet: „Der Platz ist besetzt, und zwar von jemand anderem, als Sie denken.“