Jesteś na liście. Potem klient zadaje drugie pytanie.

14 sierpnia Google umieścił nowy model pod trybem AI swojej wyszukiwarki: Gemini 3.7 Flash, wydany dzień wcześniej. Robby Stein, wiceprezes ds. produktu w Google Search, ogłosił to zdaniem wartym zatrzymania się - model lepiej wykonuje polecenia i lepiej rozumie intencję.

W prawdziwej rozmowie intencji nie ma w pierwszym pytaniu. Wyostrza się w drugim. Klient pyta o « najlepsze piekarnie w Bordeaux », czyta listę, a potem pyta o to, co naprawdę chciał wiedzieć: « która robi prawdziwy chleb na zakwasie? ». To w tej turze wybiera.

Wszystkie opublikowane w tym roku pomiary widoczności w AI zatrzymują się na pierwszej turze. Raport « State of AI Search » firmy AirOps, którego liczby cytuje się wszędzie - 30 % marek pozostaje widocznych od jednej odpowiedzi do następnej, 20 % przez pięć losowań - zadaje wciąż to samo pytanie. Nikt nie mierzy rozmowy. My zmierzyliśmy, dziś rano.

Procedura

Sześć przypadków, trzy kraje: hydraulik w Lyonie, piekarnia w Bordeaux, adwokat od prawa pracy w Paryżu, hydraulik w Manchesterze, piekarnia w Bristolu, hydraulik w São Paulo. Dla każdego dwie tury w tej samej rozmowie: pytanie o listę, odpowiedź odłożona z powrotem do historii, potem pytanie klienta, który musi zdecydować, z poleceniem « podaj mi tylko jedną nazwę ». Trzej asystenci - ChatGPT, Gemini, Perplexity - czyli 18 rozmów. Każdą nazwę przeliczono ręcznie.

ChatGPT nie wybiera. Pyta, gdzie jesteś.

Zero razy na sześć ChatGPT wymienił w drugiej turze firmę. Pięć razy na sześć odpowiedział własnym pytaniem:

• « Podaj mi swoją dzielnicę albo kod pocztowy, a dam ci najlepszy dostępny kontakt. » - przeciek w Lyonie.
• « W której części Bordeaux jesteś? » - chleb na zakwasie.
• « Jest pan pracownikiem czy pracodawcą? » - zwolnienie w Paryżu.
• « Do you mean Manchester, UK or Manchester, NH? », a potem « Do you mean Bristol, UK? » - nie wie nawet, o którym mieście mowa.

Za szóstym razem, w São Paulo, podał jednak nazwę: Triider - platformę pośredniczącą, a nie fachowca.

Najczęściej używany asystent na świecie w chwili, gdy klient musi wybrać, nie wskazuje nikogo. Pyta o kod pocztowy.

Bycie na liście nie wprowadza Cię do finału

Perplexity owszem rozstrzyga: sześć razy na sześć podał jedną nazwę i tylko jedną. Ale trzy razy na sześć tej nazwy nie było na jego własnej liście z pierwszej tury.

Co rozbija listę: pilność

Podział jest czysty i nie jest dziełem przypadku. Nasze sześć drugich pytań rozpada się na dwie rodziny. Trzy dotyczą dostępności: ktoś musi przyjechać dzisiaj. Trzy dotyczą jakości: prawdziwy zakwas, proper sourdough, zaskarżenie zwolnienia.

Wszystkie trzy pytania o dostępność wytworzyły nową nazwę. Wszystkie trzy pytania o jakość zachowały nazwę z listy - Maison Lamour w Bordeaux, Hart's Bakery w Bristolu, Kohen Avocats w Paryżu.

A silnik sam mówi dlaczego. O Accord Artisans: « reklamują interwencję w 30 minut w Lyonie, całą dobę, siedem dni w tygodniu ». O Kang Plumbing: « listed as open 24/7 in Manchester and says it offers immediate assistance ». Tej tury nie wygrywa reputacja. Wygrywa ją zdanie zapisane gdzieś - takie, które mówi, że można się z Tobą teraz skontaktować.

Gemini wybiera ze swojej listy - poza adwokatami

Gemini wymienił firmę trzy razy na sześć i za każdym razem była to nazwa z jego własnej listy: Blicko w Lyonie, Le Blé en Herbe w Bordeaux, Farro Bakery w Bristolu. W pozostałych trzech przypadkach odesłał gdzie indziej - w Manchesterze do United Utilities, przedsiębiorstwa wodociągowego, i do Checkatrade, katalogu; w São Paulo do GetNinjas, platformy.

W Paryżu odmówił i napisał to wprost: podlega regułom neutralności, które zabraniają mu wskazywać jednego profesjonalistę przed innym. W zawodzie regulowanym druga tura może nie mieć żadnego zwycięzcy.

Liczba, którą wyrzuciliśmy

Nasze automatyczne wyodrębnianie podawało początkowo wskaźniki przetrwania 0 %, 19 % i 50 % zależnie od silnika. Nie publikujemy ich: są błędne. Przy ponownym czytaniu list okazuje się, że część policzonych « firm » firmami wcale nie jest - to porady, które ekstraktor bierze za nazwy własne: « Poczta pantoflowa nadal rządzi », « Sprawdź numer rejestrowy », « Red flags », « Dica de emergência ».

To dziura w naszym narzędziu i nie ogranicza się do pism, które otworzyliśmy w zeszłym tygodniu: otwiera się także po francusku i po angielsku, gdy tylko asystent pogrubi poradę. Zapisujemy to, bo nazwanie wady jest warte więcej niż opublikowanie schlebiającego odsetka. Dziewięć nazw z tego artykułu sprawdzono ręcznie, jedną po drugiej.

Co zrobić w poniedziałek rano

Ograniczenia, jak zawsze, i tutaj mają znaczenie: sześć przypadków, trzy kraje, po jednym drugim pytaniu, jeden model na silnik, jeden poranek. Podział na dostępność i jakość opiera się na trzech przypadkach z każdej strony - to spójny mechanizm, zacytowany przez sam silnik, a nie prawo. To, co jest solidne, mieści się w jednym zdaniu: lista z pierwszej tury nie jest listą finalistów.