W mieście liczącym 10 201 mieszkańców dwie AI na trzy wymieniają Twoją piekarnię z nazwy
48 odpowiedzi, 8 gmin, od Paryża po podprefekturę licząca 10 201 mieszkańców. Gemini i Perplexity wszędzie wymieniają prawdziwe piekarnie - z adresem. ChatGPT odpowiada bez pytania zwrotnego tylko w Paryżu.
W tym artykule
Opublikowane w tym miesiącu badanie podaje liczbę popytu: 23 % ludzi użyło narzędzia AI przy ostatnim szukaniu lokalnej firmy, a 31 % korzysta z niego co najmniej raz w miesiącu po rekomendację. Inne, majowe, twierdziło, że mniejsze obszary są łatwiejsze do zdobycia, bo konkurencja jest tam rzadsza.
Żadne z nich nie odpowiada na pytanie, które naprawdę zadaje sobie kupiec z prowincji: czy moja gmina jest za mała, żeby AI kogokolwiek tu znała?
My też nie potrafiliśmy na nie odpowiedzieć. Nasze trzy badania krajowe obejmują 39 miast, a najmniejszym jest Grenoble. Zmierzyliśmy więc tej nocy tam, gdzie naprawdę żyją nasi klienci.
Procedura
Osiem gmin na gradiencie od stolicy po Saint-Amand-Montrond, 10 201 mieszkańców, przez Nantes (335 634), Chartres (38 209), Vierzon (24 694) i Guéret (12 839). Dwie branże - piekarnia i warsztat samochodowy - żeby żaden wynik nie zależał od samego chleba. Trzej asystenci. Pytanie jest wszędzie identyczne: zmienia się tylko gmina.
48 odpowiedzi plus 32 losowania kontrolne w ChatGPT: bez powtórzenia nie odróżnisz efektu od rzutu monetą. To właśnie kontrola odwróciła nasz pierwszy odczyt i warto powiedzieć, co poprawiła.
Dobra wiadomość, i jest wyraźna
Gemini i Perplexity wszędzie wymieniają prawdziwe lokalne firmy, aż do 10 201 mieszkańców. Zero odpowiedzi bez nazwy na dwanaście. I to nie ogólniki: konkretne lokale, z adresem.
Saint-Amand-Montrond
: Aux 3 Choux, Maison Aveline, Aux Épis d'Or, Au Merle Blanc, La Chaumière, Pâtisserie-Chocolaterie Franck Cosyns.
Guéret
: J&F Boulangerie Pâtisserie, avenue de la Sénatorerie - wymieniona przez oba silniki, z tym samym adresem, przy czym Perplexity podaje, że wziął ją z przewodnika Petit Futé.
Sklep w podprefekturze liczącej dziesięć tysięcy mieszkańców jest więc doskonale możliwy do wymienienia. Lęk przed byciem « za małym dla AI » nie wytrzymuje pomiaru - pod warunkiem, że patrzy się na silniki, które idą szukać w sieci.
ChatGPT to inna historia
Na 32 losowania rozłożone na 8 gmin dokładnie jedna nigdy nie dostaje pytania zwrotnego: Paryż. Wszędzie indziej - z Lyonem włącznie - ChatGPT odpowiada raz albo dwa razy na cztery pytaniem zamiast listy:
„Woli pan piekarnie z centrum Guéret, czy mam uwzględnić sieci? Chce pan także adresy i godziny otwarcia?”
To nie odmowa - nigdy nie mówi, że nie może. Odbija piłkę. Dla spieszącego się klienta, który chciał piekarni, wynik jest ten sam: nie ma żadnej nazwy.
A kiedy ChatGPT zgadza się wymieniać piekarnie, liczba wali się wraz z wielkością: 8 i 8 w Paryżu, 6 w Lyonie, 2 w Nantes, 2 w Guéret, 1 w Saint-Amand-Montrond.
Branża waży więcej niż wielkość
Pokazała to kontrola, wbrew naszemu pierwszemu odczytowi. Na 32 losowaniach: warsztat dostaje nazwy 16 razy na 16. Piekarnia 6 razy na 16. Ten sam silnik, ta sama noc, te same gminy.
Innymi słowy, czynnikiem dominującym nie jest liczba mieszkańców, tylko branża. Piekarnia z Grenoble - 156 tysięcy mieszkańców - dostaje pytanie zwrotne równie często jak piekarnia z Vierzon.
Czego NIE znaleźliśmy
Szukaliśmy odwrotu ku sieciom ogólnokrajowym: nie znając piekarza z rogu, asystent wymieniłby wielkie marki. To kusząca hipoteza i w naszych pomiarach fałszywa. Udział wymienionych nazw będących sieciami krajowymi, metropolie wobec małych gmin: ChatGPT 17 %, a potem 0 %, Gemini 21 %, a potem 32 %, Perplexity 27 %, a potem 28 %. Żadnego wyraźnego efektu.
Podobnie majowe twierdzenie - że mniejsze obszary są łatwiejsze - pojawia się tylko w połowie. Zgodność między dwoma szukającymi silnikami rośnie z 7 % w Paryżu do 27 % w Guéret przy warsztatach, ale przy piekarniach zostaje płaska. Jedna branża na dwie: podajemy to jako poszlakę, nie jako wynik.
Co zrobić w poniedziałek rano
Jeśli jesteś w małej gminie, Twoim kanałem jest silnik, który szuka.
Gemini i Perplexity już Cię wymieniają. Nie oceniaj swojej widoczności po ChatGPT, który zada Twojemu klientowi pytanie zamiast Cię wymienić.
To adres czyni Cię możliwym do wymienienia.
Oba silniki, które wymieniły J&F Boulangerie, podały ulicę. To odróżnia lokal od słowa.
Katalogi regionalne ważą u Ciebie więcej niż w Paryżu.
Perplexity cytuje Petit Futé dla Guéret. W gminie liczącej 12 tysięcy mieszkańców garść źródeł tworzy całą odpowiedź - więc obecność w nich zmienia wszystko.
Nie uznawaj się za niewidocznego, bo jeden test się nie udał.
Nasz pomiar pokazuje ten sam sklep wymieniony przez dwa silniki na trzy. Trzeci nie mówi, że nie istniejesz: pyta, w której dzielnicy.
Ograniczenia i nasz własny błąd metody
Osiem gmin, dwie branże, jedna noc, jeden model na silnik: to sondaż. Nie sprawdzaliśmy, czy każdy wymieniony lokal istnieje - przeczytaliśmy odpowiedzi, nie audytowaliśmy piekarni. A porównanie z naszymi badaniami krajowymi nosi inną datę, co zabrania traktować je jak « przed i po ».
Wreszcie błąd znaleziony przy czytaniu, a nie przez maszynę: nasz wykrywacz odmów przepuszczał « je n'ai pas d'accès », gdy apostrof jest typograficzny zamiast prostego. To ta sama rodzina dziury co przeoczony wczoraj portugalski tryb łączący. Poprawione i opisane tutaj, bo liczba opublikowana bez swojej znanej wady jest warta mniej niż liczba mniejsza i uczciwa.