„Pierwsi w AI”: miejsce się trzyma, ale jest jedno na język i na silnik
Pięć razy to samo pytanie: marka wymieniona jako pierwsza pozostaje ta sama w 81 % przypadków. Problemem nie jest stabilność - lecz to, że nie ma JEDNEGO pierwszego miejsca.
81 %
kombinacji zachowuje tę samą markę na czele przez pięć identycznych uruchomień
W tym artykule
Krótka odpowiedź: pierwsze miejsce jest dość stabilne i właśnie to czyni zdanie „jesteśmy pierwsi w AI” mylącym. Zadaj pięć razy dokładnie to samo pytanie: marka wymieniona jako pierwsza nie zmienia się w 81 % przypadków. Ale zmień język albo silnik, a to już nie ta sama marka.
1 miejsce
medianowe przesunięcie marki między dwoma uruchomieniami - co druga nie rusza się wcale
100
uruchomień, zero niepowodzeń: 4 branże x 2 języki x 2 silniki, po pięć razy
W hostingu stron Hostinger jest pierwszy po angielsku, francusku i hiszpańsku - a IONOS po niemiecku, na obu silnikach. W płatnościach to niemal wszędzie Stripe, ale po hiszpańsku u Gemini Redsys. W rezerwacji hoteli Perplexity stawia na pierwszym miejscu Booking.com, a Gemini Google Travel, tego samego dnia i w tym samym języku.
Nie ma jednego pierwszego miejsca. Jest jedno na język i na silnik, i nic nie gwarantuje, że są do siebie podobne.
Co zmierzyliśmy
To samo pytanie odniesienia, którego używają wszystkie nasze pomiary od 23 sierpnia, zadane pięć razy z rzędu na kombinację. Cztery globalne branże, dwa języki, dwaj asystenci, którzy szukają. 100 uruchomień, zero niepowodzeń. Między dwoma uruchomieniami nie zmienia się nic: ani branża, ani język, ani silnik, ani dzień. Przemawia wyłącznie losowość asystenta.
Czyszczenie poprzedza porządkowanie i nie jest to szczegół. Nasz ekstraktor wciąż przepuszcza fragmenty, które nie są nazwami firm. Jeśli trafią na pierwsze miejsce, wytwarzają niestabilność, która jest nasza, a nie silnika. Zachowujemy więc tylko nazwy, które się powtarzają, i dopiero potem porządkujemy.
Pierwsze miejsce się trzyma
| Miara | Surowo | Po poprawieniu etykiet |
|---|---|---|
| Kombinacje z niezmienną pierwszą marką | 12/16 (75 %) | 13/16 (81 %) |
| Marki, które nie przesuwają się ani o miejsce | 50 % | 50 % |
| Medianowe przesunięcie marki | 1 miejsce | 1 miejsce |
| Największe zaobserwowane przesunięcie | 5 miejsc | 5 miejsc |
Co druga marka zajmuje dokładnie to samo miejsce przy każdym powtórzeniu pytania. Medianowe przesunięcie to jedno miejsce. Wbrew temu, co się często słyszy, kolejność nie jest losowaniem.
Najpierw wyszło nam 38 % i ta liczba była fałszywa: fragmenty takie jak „small teams” czy „performance” zajmowały pierwsze miejsce. Czyszczenie przed porządkowaniem daje 75 %, a potem 81 % po scaleniu „hubspot crm” i „hubspot”, które nazywają tę samą firmę. Niestabilność, którą mieliśmy opublikować, była nasza własna.
Ale pierwszych miejsc jest osiem, nie jedno
| Branża | Perplexity | Gemini |
|---|---|---|
| Płatności (en i fr) | Stripe | Stripe |
| Rezerwacja hoteli (en) | Booking.com | Google Travel |
| Rezerwacja hoteli (fr) | Booking.com | Booking.com |
| Hosting stron (en i fr) | Hostinger | Hostinger, poza angielskim |
| CRM (en) | HubSpot | HubSpot |
| CRM (fr) | brak stabilnego lidera | brak stabilnego lidera |
A pomiar z 24 sierpnia, obejmujący więcej języków, przedłuża tabelę. Po niemiecku hostingiem wymienianym jako pierwszy nie jest ani Hostinger, ani gracz globalny: to IONOS, na obu silnikach. Perplexity określa go wprost jako „in mehreren Vergleichen auf Platz 1 bzw. Testsieger”. Po hiszpańsku Gemini wydobywa w płatnościach Redsys - hiszpańską sieć bankową - „muy utilizada en el mercado español”. Obie firmy są niewidoczne w pozostałych językach.
Niemiecki hosting jest pierwszy w Niemczech. Po angielsku nie istnieje. Oba zdania są prawdziwe naraz.
Przypadek francuskiego CRM
To jedyna kombinacja w naszym pomiarze, w której żadna marka nie utrzymuje pierwszego miejsca. W Gemini pięć uruchomień tego samego pytania daje trzech różnych pierwszych: Freshsales, HubSpot, monday. W Perplexity Pipedrive przeplata się z etykietą, która nie jest nawet firmą.
Nie ma tam lidera do zdetronizowania i jest to informacja handlowa: na tym rynku pierwsze miejsce jest wolne. Gdzie indziej - Stripe w płatnościach, Hostinger w hostingu anglojęzycznym - zajmuje je ta sama marka przy każdym uruchomieniu.
Co z tym zrobić
Zdanie „jesteśmy pierwsi w ChatGPT” nie jest fałszywe: jest niepełne.
Pierwsi w jakim języku, na jakim silniku i przy jakim sformułowaniu? Bez tych trzech uściśleń nie da się go sprawdzić.
Nie przenoś pierwszego miejsca z jednego rynku na drugi.
Prowadzenie po angielsku nic nie mówi o niemieckim, gdzie miejsce może zajmować gracz krajowy - i zajmować je na obu silnikach naraz.
Sprawdź, czy szczyt jest zajęty, zanim go zaatakujesz.
Gdy przy każdym uruchomieniu wraca ta sama marka, pierwsze miejsce jest murem. Gdy zmienia się za każdym razem, jak we francuskim CRM, jest otwarte.
Jedno uruchomienie nie ustala miejsca.
Połowa marek się nie przesuwa, ale druga połowa tak - w naszym pomiarze nawet o pięć miejsc. Pozycję stwierdza się na kilku powtórzeniach, nigdy na zrzucie ekranu.
Ograniczenia
Cztery branże, dwa języki, dwa silniki w części powtarzanej.
Buty do biegania są wyłączone: odpowiedzi cytują tam numerowane modele, które nasz ekstraktor odrzuca, co dawało wynik, który wynikiem nie był.
Tabela rozszerzona o niemiecki i hiszpański pochodzi ze zbioru z 24 sierpnia
, z jednym uruchomieniem na kombinację. Pokazuje, że pierwszy różni się zależnie od języka; nie ustala jego stabilności w tych językach, wobec braku powtórzeń.
Nasz ekstraktor pozostaje niedoskonały
, a w jednej kombinacji fragment utrzymuje się na czele nawet po poprawce. Publikujemy oba rachunki zamiast jednego i nazywamy to, co zostaje.
„Pierwszy” znaczy tu: wymieniony jako pierwszy w tekście odpowiedzi.
To nie ranking, który silnik publikuje, lecz kolejność jego wyliczania. Nie przypisujemy mu zamiaru hierarchizowania.
Nikomu nie obiecujemy miejsca w odpowiedziach ChatGPT - nikt nie może tego zrobić uczciwie. Mierzalne jest to, gdzie jesteś: w podziale na języki, silniki i zadane pytanie. Także wtedy, gdy odpowiedź brzmi: „miejsce jest zajęte, i to przez kogoś innego, niż sądzisz”.