To samo pytanie 24 godziny później: silnik, który nie wymienił nikogo, wymienia teraz cztery gabinety

Wczoraj zmierzyliśmy niezgodę trzech asystentów w tej samej minucie. Zostało pytanie, które właściciel firmy naprawdę zadaje: jeśli powtórzę test jutro, powie to samo?

Dziś rano odtworzyliśmy sześć wczorajszych pytań. Nie napisane na nowo: odczytane z pliku z poprzedniego dnia i wysłane ponownie bez zmian, do tych samych trzech silników. Jedyną zmienną jest czas.

Przypadek, który odpowiada sam za siebie

Wczoraj, zapytany o najlepszych dentystów w Nicei, Gemini nie wymienił żadnego gabinetu. Odpowiedział platformami rezerwacyjnymi i kryteriami wyboru. Dziś, na to samo pytanie, wymienia cztery: Cabinet Avident, Arenas Dentistes, Dentego, Clinadent.

W ciągu dwudziestu czterech godzin nic się w tych gabinetach nie zmieniło. Nic się nie zmieniło w pytaniu. Dentysta z Nicei, który testowałby wczoraj, odszedłby przekonany, że AI nie wymienia nikogo w jego branży; ten sam test pokazuje mu dziś czterech konkurentów.

Pojedynczy test nie mierzy Twojej widoczności. Mierzy Twoją widoczność tego dnia.

Ile nazw przeżywa jedną noc

Porównaliśmy listy nazwa po nazwie, ręcznie, łącząc warianty zapisu („Victor Plomberie” i „Victor Plombier”, „Caroline Meunier Avocat” i „Cabinet Caroline Meunier”). W sześciu miastach:

Stabilność bardzo się różni zależnie od branży. Przy dentystach w Nicei Perplexity zachowało siedem nazw na siedem i dodało tylko jedną: lista niemal zamrożona. Przy warsztatach w Nantes ten sam silnik zachował jedną nazwę na siedem. Ten sam silnik, ten sam dzień, dwie branże: z jednej strony lista stabilna, z drugiej losowanie.

Kiedy ChatGPT jednak wymienia, nie wymienia lokalnych firm

Jeden szczegół zasługuje na uwagę. Przy warsztatach w Nantes ChatGPT przerwał dziś milczenie - ale nazwy, które podaje, to Bosch Car Service, Norauto, Midas, Feu Vert, Speedy. Sieci ogólnokrajowe, a nie warsztaty z Nantes.

To zgadza się z tym, co zmierzyliśmy wczoraj: ten silnik nie poleca lokalnej firmy, wskazuje kategorie i sieci. Dla niezależnego warsztatu w Nantes „nieobecność w ChatGPT” znaczy więc bardzo niewiele - nikogo takiego jak on tam nie ma.

Co to zmienia dla pomiaru

Ta niestabilność nie jest wadą naszych narzędzi, jest samym tworzywem. Silniki, które szukają w sieci, czytają na nowo strony, które się zmieniają, a ich odpowiedzi idą za tym. Właśnie dlatego mierzymy kilka razy, a nie raz, i dlatego nie wygładzamy żadnej zmienności: to ciąg jest informacją, a nie szumem do usunięcia.

I dlatego nigdy nikomu nie obiecaliśmy miejsca w ChatGPT. Na silniku, w którym z dnia na dzień zmienia się od jednej trzeciej do połowy nazw, obiecywanie pozycji byłoby obiecywaniem wyniku losowania.

Co z tym zrobić

• Nie wyciągaj wniosków z jednego testu. Ani „jestem widoczny”, ani „AI nie wymienia nikogo”: wiesz tylko, jak było tego ranka.
• Patrz na przebieg, nie na punkt. Nazwa wracająca trzy razy w pięciu pomiarach bije nazwę, która raz pojawiła się na pierwszym miejscu.
• Odróżniaj branże stabilne od zmiennych. U dentystów lista się trzyma; u warsztatów układa się na nowo. Sensowna częstotliwość pomiaru nie jest ta sama.
• Nie oceniaj swojej obecności po samym ChatGPT: w naszych sześciu miastach nie wymienił żadnej lokalnej firmy dwa dni z rzędu.

Ograniczenia: sześć pytań, sześć miast, dwa dni, jeden model na silnik. Dwa punkty nie tworzą krzywej i nie twierdzimy, że dwoma pomiarami mierzymy trend. To, co ustalają, jest solidne: dzisiejsza odpowiedź nie jest wczorajszą, przy ściśle identycznych pytaniach.