Ta sama potrzeba zadana inaczej zwraca inne firmy: 31 % pokrycia
„Najlepsze X” i „które dla mojej 10-osobowej firmy” pokrywają się tylko w 31 %, wobec 77 %, gdy zada się dokładnie to samo pytanie dwa razy.
W tym artykule
Krótka odpowiedź: zmiana kontekstu zakupowego w pytaniu zmienia rekomendowane firmy - i to znacznie silniej niż własna losowość asystenta. Zadaj dokładnie to samo pytanie dwa razy: listy pokrywają się w 77 %. Zapytaj „które dla mojej dziesięcioosobowej firmy” zamiast „jakie są najlepsze”: 31 %.
To 46 punktów poniżej progu szumu. Inaczej mówiąc: to, jak twój nabywca formułuje swoją potrzebę, waży na twojej obecności więcej niż wszystko, co asystent zmienia sam z siebie od uruchomienia do uruchomienia.
Audyt widoczności, który pyta jedną formułą, nie mierzy twojego rynku. Mierzy jego jedną czwartą.
Dlaczego to pytanie i dlaczego teraz
Pokazaliśmy, że język zmienia rekomendowaną listę, że czytane źródła zmieniają się wraz z nim i że te źródła naprawdę niosą rekomendację. Została zmienna, której firma podejrzewa najmniej, bo w ogóle jej nie kontroluje: sposób, w jaki jej klient formułuje prośbę.
Nikt nie wpisuje wyłącznie „najlepszy CRM”. Nabywca mówi też „prowadzę małą działalność”, „który ma najlepszy stosunek jakości do ceny”, „jestem początkujący, który jest najprostszy”. To cztery momenty zakupowe, nie cztery sposoby powiedzenia tego samego.
Co dokładnie zmierzyliśmy
Pięć globalnych branż, dwa języki (angielski, francuski), dwaj asystenci, którzy szukają - Perplexity i Gemini. 120 uruchomień, zero niepowodzeń. Pytanie odniesienia jest wzięte słowo w słowo z naszych wcześniejszych pomiarów, dzięki czemu ten da się czytać razem z tamtymi.
| Intencja | Sformułowanie |
|---|---|
| Odniesienie | „Jakie są najlepsze X?” |
| Mała firma | „Prowadzę 10-osobową firmę. Jakie X byś nam polecił?” |
| Cena | „Które X oferują najlepszy stosunek jakości do ceny?” |
| Początkujący | „Jestem zupełnie początkujący. Które X są najłatwiejsze na start?” |
Próg szumu, bez którego ten artykuł by nie istniał
Asystent nie jest deterministyczny: zadaj mu to samo pytanie ponownie, a nie zwróci tej samej listy. Porównywanie dwóch sformułowań bez wiedzy, jak bardzo sam sobie przeczy, byłoby publikowaniem losowości i nazywaniem jej wynikiem.
Dlatego uruchomiliśmy pytanie odniesienia trzy razy na kombinację, co daje 46 par „to samo pytanie, dwie odpowiedzi”. Ich średnie pokrycie - 77 % - to próg. Każda różnica między intencjami czyta się względem niego, nigdy bezwzględnie.
Wynik
| Zadane pytanie | Pokrycie | Różnica wobec szumu |
|---|---|---|
| To samo, zadane ponownie (próg) | 77 % | - |
| Najlepszy stosunek jakości do ceny | 53 % | 24 punkty poniżej |
| Jestem początkujący | 40 % | 37 punktów poniżej |
| Firma 10-osobowa | 31 % | 46 punktów poniżej |
Oba silniki idą w tym samym kierunku, niezależnie od siebie - to właśnie pozwala publikować. Perplexity spada z progu 84 % do 39 % przy pytaniu „mała firma”; Gemini z 68 % do 23 %. Wartości się różnią, kierunek i skala nie.
Przypadek, który czyni to konkretnym
W rezerwacji hoteli asystent powtarza się bardzo dobrze: 86 % pokrycia między dwoma uruchomieniami tego samego pytania. Dodaj „prowadzę dziesięcioosobową firmę”, a pokrycie spada do 0 %. Nie 30, nie 15: zero. Ani jednej wspólnej firmy.
Spojrzenie na nazwy wyjaśnia dlaczego: pytanie odniesienia zwraca platformy konsumenckie, które wszyscy znają. Pytanie „dziesięcioosobowa firma” wydobywa TravelPerk, Engine, Booking.com for Business - graczy z podróży służbowych, nieobecnych na pierwszej liście. To nie ranking się przesuwa, to odpowiada inny rynek.
To nie twoja pozycja zmienia się wraz z pytaniem. To lista kandydatów.
Ten sam wzorzec gdzie indziej: w hostingu stron po angielsku Namecheap i Wix pojawiają się tylko przy pytaniach „mała firma”, „cena” i „początkujący”. W CRM po francusku HubSpot jest nieobecny na liście odniesienia, ale obecny, gdy tylko doprecyzuje się „mała firma” albo „zaczynam”.
Hipoteza konkurencyjna, sprawdzona i odrzucona
Tak wyraźny wynik zaprasza do poważnego zarzutu, a my postawiliśmy go przeciw sobie: nasz ekstraktor nazw przepuszcza fragmenty porad („sprawdź integracje”, „minimalny budżet”). A pytanie o cenę produkuje inne słownictwo porad niż pytanie dla początkujących. Ten szum mógł sam wytworzyć całą różnicę.
Przeliczyliśmy więc wszystko na czterech poziomach czyszczenia, od surowego po najsurowszy - zachowując tylko nazwy, które się powtarzają w kilku odpowiedziach, bo prawdziwa nazwa firmy się powtarza tam, gdzie zwrot poradnikowy jest jednorazowy. Próg szumu rośnie, zgodnie z oczekiwaniem, z 62 % do 79 %. Różnica pozostaje między 29 a 36 punktami we wszystkich czterech przypadkach. Zarzut się nie broni; publikujemy rachunek najsurowszy, nie najbardziej pochlebny.
Co z tym zrobić
Wypisz pytania swoich klientów, nie swoją kategorię.
„Najlepszy program do fakturowania” to pytanie dziennikarza. Twoi nabywcy mówią „dla stowarzyszenia”, „bez księgowego”, „do fakturowania za granicę”. To te zdania trzeba mierzyć.
Dobry wynik na jednym sformułowaniu się nie przenosi.
46 punktów różnicy oznacza, że bycie polecanym przy pytaniu ogólnym prawie nic nie mówi o pytaniu twojego rzeczywistego segmentu.
Kontekst zakupowy to dźwignia, nie tylko ryzyko.
Jeśli jesteś nieobecny na liście ogólnej, ale twój segment ma własne pytanie, to właśnie tam trzeba istnieć - a ta konkurencja jest znacznie mniej zatłoczona.
Niech twoje strony mówią, DLA KOGO są.
Źródła, które wprowadzają nazwę do odpowiedzi „dziesięcioosobowa firma”, to te, które wprost omawiają ten przypadek. Strona, która nie mówi, do kogo się zwraca, nie może zostać wybrana pod profil.
Ograniczenia
Jedna branża wyjęta z pomiaru: buty do biegania.
Odpowiedzi cytują tam numerowane modele („Ghost 16”, „Clifton 9”), które nasz ekstraktor odrzuca. Branża wychodziła więc wszędzie na 0 % - to artefakt naszego filtra, nie wynik. Opublikowanie go byłoby nieuczciwe.
Dwa języki i dwa silniki.
Angielski i francuski; Perplexity i Gemini. ChatGPT przez API jest wyłączony: zmierzyliśmy, że w ogóle nie szuka, więc intencja nie odgrywa tam tej samej roli.
Jeden dzień.
Te pomiary są datowane, a asystenci się zmieniają. Właśnie dlatego każdej liczbie towarzyszy próg szumu.
Nasz ekstraktor pozostaje niedoskonały
, nawet po czyszczeniu: kilka zwrotów („wsparcie techniczne”, „francuskie MŚP”) przetrwało w zbiorach. Poprawka jest w toku. Mówimy o tym, bo liczba, której czyszczenie się ukrywa, nie jest liczbą.
Nikomu nie obiecujemy miejsca w odpowiedziach ChatGPT - nikt nie może tego zrobić uczciwie. Mierzalne jest to, gdzie jesteś: w podziale na języki, na silniki, a teraz na zadane pytanie.