Pojawiło się 147 nazw, zostało 28: większość cytowań AI to przejścia, nie miejsca
Trzy identyczne próby, pięć branż, dwa silniki: dwie na trzy cytowane nazwy pojawiają się tylko raz. A wartość cytowania zależy od silnika - w Perplexity utrzymuje się co druga, w Gemini co dwudziesta.
19 %
cytowanych nazw utrzymuje się we wszystkich trzech próbach - 28 ze 147
W tym artykule
Krótka odpowiedź: być cytowanym przez AI i mieć w niej miejsce to dwie różne rzeczy - i tę różnicę da się zmierzyć. Zadaliśmy to samo pytanie trzy razy z rzędu, w pięciu branżach, w dwóch językach, dwóm silnikom. 147 nazw firm pojawiło się co najmniej raz. Tylko 28 występuje we wszystkich trzech próbach. 98 - dwie na trzy - pojawia się dokładnie raz: przejścia, nie miejsca.
5 nazw
mediana długości listy rekomendacji, po oczyszczeniu
1 na 2 vs 1 na 20
szansa, że cytowanie jest stabilnym miejscem - Perplexity vs Gemini
Ze 147 nazw, które pojawiły się w trzech próbach, zostało 28. Te 98, które pojawiły się raz, nie były miejscami: to przejścia.
Co zmierzyliśmy
To samo pytanie referencyjne co we wszystkich naszych pomiarach od 23 sierpnia - „jakie są najlepsze X?” - zadane trzy razy z rzędu, identycznie, w pięciu globalnych branżach, po angielsku i francusku, silnikom Perplexity i Gemini. Zamówiliśmy 60 prób, 9 błędów API, 51 nadających się do analizy, zebranych wieczorem 29 sierpnia.
Dla każdej kombinacji branża-język-silnik liczymy trzy rzeczy: sumę (wszystkie nazwy, które pojawiły się choć raz), rdzeń (obecne we wszystkich trzech próbach) i ogon (te, które pojawiły się dokładnie raz). Rdzeń to jedyna lista, na której można budować; ogon to losowość, w którą żadna optymalizacja nie umie celować.
Publikujemy liczby surowe i oczyszczone razem. Nasz ekstraktor wciąż przepuszcza fragmenty, które nie są nazwami firm, a każdy fragment tworzy fikcyjne miejsce. Po oczyszczeniu mediana odpowiedzi zawiera 5 nazw (8 surowo) - 7 w Perplexity, 4 w Gemini, 5 po angielsku, 4 po francusku.
Jeden silnik buduje rdzeń, drugi prawie wcale
| Kombinacja | Nazwy, które się pojawiły | Rdzeń | Udział rdzenia |
|---|---|---|---|
| Rezerwacja hoteli (en) - Perplexity | 8 | 8 | 100 % |
| Płatności (en) - Perplexity | 8 | 7 | 88 % |
| Płatności (fr) - Perplexity | 9 | 4 | 44 % |
| CRM (en) - Perplexity | 9 | 3 | 33 % |
| Rezerwacja hoteli (en) - Gemini | 13 | 2 | 15 % |
| CRM (en) - Gemini | 13 | 1 | 8 % |
| Płatności (en) - Gemini | 14 | 0 | 0 % |
| Hosting (en) - Gemini | 12 | 0 | 0 % |
Ta sama branża, ten sam język, ten sam dzień: Perplexity przy rezerwacji hoteli zwraca trzy razy tę samą listę 8 nazw - rdzeń 100 %. Gemini przy płatnościach wyświetla 14 nazw w trzech próbach i nie zachowuje żadnej między próbami.
W siedmiu kombinacjach, w których odpowiedziały oba silniki, rachunek jest jasny: w Perplexity 23 z 47 nazw utrzymuje wszystkie trzy próby - co druga. W Gemini 3 z 65 - co dwudziesta. „Cytowanie w Gemini” i „cytowanie w Perplexity” to nie ta sama waluta, a wynik, który dodaje je bez słowa, miesza złoto z żetonami.
Medianowa kombinacja nie ma rdzenia wcale
Najtwardsza liczba tego pomiaru nie jest średnią: mediana rdzenia na kombinację wynosi zero. Wybierz losowo kombinację branża-język-silnik, a najbardziej prawdopodobny przypadek jest taki, że żadna nazwa nie utrzyma tam trzech prób, podczas gdy pięć nazw przejdzie raz i zniknie. Bycie „polecanym przez AI” we wtorek nie mówi prawie nic o środzie.
Trzy błędy zbierania leżą w całości po stronie Perplexity.
Rezerwacja hoteli po francusku i hosting w obu językach nie mają ani jednej próby Perplexity (limity API). Pojedynek silników czyta się więc tylko na siedmiu wspólnych kombinacjach - i to z nich pochodzą 1 na 2 i 1 na 20.
Branża butów do biegania to nasz własny błąd.
Nasz filtr antyszumowy odrzuca etykiety z cyframi - a modele nazywają się „Pegasus 41” czy „Clifton 10”. Listy tej branży wychodzą po oczyszczeniu niemal puste: opróżnia je filtr, nie silniki. Publikujemy branżę taką, jaka jest, zamiast usuwać ją po cichu.
Trzy próby, jeden wieczór, dwa silniki: próbka, nie spis powszechny.
Trzy próby wystarczą, by oddzielić rdzeń od ogona; nie wystarczą, by datować rotację nazw. I nic nie mówi, że następna noc lub tydzień dałyby te same proporcje.
Co z tym zrobić
Celuj w rdzeń, nie w listę.
Nazwa, która pojawia się raz na trzy próby, nie „ma miejsca w AI”: przeszła przez jedną próbę. Zanim uczcisz cytowanie, zapytaj, czy wraca.
Zawsze pytaj, na którym silniku.
To samo zdanie - „jesteście cytowani” - opisuje w Perplexity pozycję stabilną w 50 %, a w Gemini loterię 5 %. Raport, który nie nazywa silnika, nie mówi nic.
Mierz ponownie, identycznie, w czasie.
Tylko tak odróżnia się miejsce od przejścia - pojedyncza próba z definicji nie potrafi. Właśnie dlatego nasz monitoring zadaje to samo pytanie co 3 dni.