Ta sama potrzeba, inaczej sformułowana: asystent wymienia niemal całą listę

Krótka odpowiedź: zapytaj ChatGPT o najlepszych hydraulików w twoim mieście, a potem o najczęściej polecanych hydraulików w twoim mieście. To ta sama potrzeba i nie ta sama lista. W 682 parach odpowiedzi zachował tylko 16 do 29% firm, które przed chwilą wymienił, a w jednej czwartej do połowy przypadków nie zachował żadnej.

Chcą Państwo wiedzieć, czy SI ich poleca. Pytanie zakłada, że istnieje lista i miejsce na tej liście. Nasze pomiary mówią co innego: istnieje odpowiedź, przyklejona do dokładnego zdania, które ktoś wpisał. Proszę zmienić zdanie bez zmiany potrzeby, a ten sam asystent, tego samego dnia, dla tego samego miasta i tej samej branży, odpowie w dużej mierze innymi firmami. Jeden asystent był wyjątkiem: właśnie ten, który poszukał stron w sieci.

Miejsce na liście to nie pozycja. To odpowiedź na jedno zdanie.

Co zostało zmierzone

Osiem badań Waseit zadaje w każdym mieście i każdej branży dwa sformułowania tej samej potrzeby: « jacy są najlepsi {branża} w {miasto}? », a potem « wymień najczęściej polecanych {branża} w {miasto} i wyjaśnij dlaczego ». Dotąd porównywaliśmy asystentów między sobą. Tym razem porównujemy każdego asystenta Z NIM SAMYM, na jego dwóch odpowiedziach. Zachowaliśmy pary, w których obie odpowiedzi wymieniają co najmniej jedną firmę: 3729 par, 8 krajów, 89 miast, 148 par kraj-branża, zebranych między 31 lipca a 16 października 2026 roku, zawsze w języku danego kraju. Aby porównać trzech asystentów między sobą, ograniczyliśmy się do Francji, Wielkiej Brytanii i Brazylii, jedynych krajów, w których odpowiedziała cała trójka: 2044 pary, około 681 na asystenta.

Dopasowanie nazw firm nie ma oczywistej reguły: « Poilâne » i « Boulangerie Poilâne » to ten sam dom, « Table de l'Ours » i « Table de l'Olivier » już nie. Dlatego podajemy dwie granice zamiast jednej liczby. Granica ŚCISŁA łączy tylko nazwy identyczne po normalizacji; zaniża to, co zostało zachowane. Granica SZEROKA łączy, gdy tylko wspólne jest jedno wyróżniające słowo, z pominięciem słów branżowych i nazw miast; celowo łączy za dużo. Prawda leży pomiędzy, a publikujemy tylko to, co broni się przy obu.

Co zostaje z listy po przeformułowaniu pytania?

Odchodzi większość. ChatGPT zachowuje 16 do 29% firm z pierwszej odpowiedzi, Gemini 12 do 28%. Inaczej mówiąc, około trzech czwartych listy się zmienia, gdy pytanie zmienia zdanie, nie zmieniając sensu. A często nie zostaje nic: jedno przeformułowanie na cztery u ChatGPT przy dopasowaniu szerokim, jedno na dwa przy ścisłym. Firma postawiona na czele trzyma się jeszcze słabiej: ChatGPT zostawia ją tam w 11 do 19% par, Gemini w 6 do 11%.

Jeden asystent wyraźnie się wyróżnia i jest to ten sam przy obu dopasowaniach: Perplexity zachowuje 37 do 50% swojej listy i ponownie stawia tę samą firmę na czele trzy razy częściej niż Gemini. Jest też jedynym z trójki, który przed odpowiedzią pobrał strony z sieci; ChatGPT i Gemini odpytano przez interfejs programistyczny, bez wyszukiwania. Natomiast między ChatGPT a Gemini różnica nie przeżywa zmiany dopasowania (29% wobec 28% przy szerokim): nie rozstrzygamy między nimi.

Co to zmienia, jeśli to Państwa firma

Pojedyncze sprawdzenie niczego nie dowodzi. Jeśli raz wpiszą Państwo swoją branżę i miasto do ChatGPT i pojawi się Państwa nazwa, dowiedzieli się Państwo czegoś prawdziwego i bardzo wąskiego: to zdanie, tego dnia, ich pokazało. Zdanie obok, które dla klienta znaczy to samo, może ich pominąć. Dlatego nie mierzy się pozycji: mierzy się częstość, na kilka sposobów pytania. To tłumaczy też konkurenta, który przysięga, że « zawsze wychodzi pierwszy »: zapamiętał sformułowanie, które go pokazuje. Pokazaliśmy wcześniej, że dwaj asystenci rzadko odpowiadają tak samo; ten sam asystent, zapytany dwa razy, również nie odpowiada tak samo sobie.

A Państwa firma - co mówią asystenci?

Dokładnie to robi bezpłatny audyt Waseit: nie zadaje jednego pytania, lecz osiem, tych, które klienci naprawdę wpisują, w ich języku i dla Państwa miasta, do ChatGPT i do Gemini, plus test rozpoznawalności, który oddziela « SI Państwa nie zna » od « SI Państwa zna i nie poleca ». W około 60 sekund widzą Państwo ocenę na 100, konkurentów wymienionych zamiast Państwa, pytania, w których się Państwo nie pojawiają, oraz który asystent faktycznie szukał w sieci, zamiast odpowiadać z pamięci. Bezpłatnie, bez konta i bez karty; adres e-mail odblokowuje jedynie nazwy konkurentów i plan działania. To datowane zdjęcie, nie ranking: ten artykuł jest właśnie o tym, jak bardzo odpowiedzi się ruszają, i nie obiecujemy żadnej pozycji.

Czego to nie dowodzi

• Dopasowanie nazw firm nie ma jednej reguły, dlatego podajemy dwie granice. Szeroka celowo łączy za dużo: scala « Table de l'Ours » i « Table de l'Olivier », bo mają wspólne słowo. Ścisła oddziela « Poilâne » od « Boulangerie Poilâne ». Prawdziwa liczba leży pomiędzy, a zachowaliśmy tylko wnioski prawdziwe w obu przypadkach.
• Przy dopasowaniu szerokim ChatGPT i Gemini dzieli jeden punkt: nie rozstrzygamy między nimi i ten artykuł nie mówi, który z dwóch jest stabilniejszy. Tylko dystans Perplexity do pozostałych dwóch utrzymuje się przy obu granicach.
• Nasze zapisane odpowiedzi zachowują tylko osiem pierwszych wymienionych firm. Porównujemy więc krótkie listy, a nie wszystko, co asystent mógłby wymienić: dwie odpowiedzi mogłyby dzielić dziewiątą nazwę, której nigdy nie widzimy.
• Tylko dwa sformułowania, każde zadane raz, w jednym pomiarze między 31 lipca a 16 października 2026 roku. To nie jest pomiar tego, co zmienia się z dnia na dzień, a to osobne pytanie.
• W tym pomiarze Perplexity odpowiedział tylko we Francji, Wielkiej Brytanii i Brazylii, więc porównanie trzech asystentów ogranicza się do tych krajów. A to, że szukał w sieci, idzie w parze z jego stabilnością, choć nie wykazaliśmy, że jest jej przyczyną.
• Liczyliśmy zmiany nazw, nie błędy. Nic tu nie mówi, że jedna z dwóch list jest lepsza od drugiej ani że lepiej odpowiada firmom naprawdę obsługującym miasto. Automatyczne wydobywanie nazw może też wziąć kryterium lub platformę za firmę, co zmierzyły nasze wcześniejsze wydania.