Kiedy Twoja nazwa nie ma wielkich liter: nasze narzędzie nie zobaczyło nic w Japonii ani w Korei

Wczoraj produkt zaczął zadawać pytania po japońsku, koreańsku, chińsku, arabsku i hiszpańsku. Dziś rano po raz pierwszy zmierzyliśmy te rynki. Pierwszym konkurentem, którego znalazł pomiar, było nasze własne narzędzie.

Procedura jest ta sama co w całej serii: sześć rynków (Lyon, Meksyk, Tokio, Seul, Singapur, Dubaj), dwie branże na rynek, żeby różnicy nie dało się wytłumaczyć „ta branża jest wyjątkowa”, wszyscy trzej asystenci i każde pytanie zadane dwa razy - kontrola szumu, którą artykuł z 15 sierpnia uczynił obowiązkową. Siedemdziesiąt dwie odpowiedzi.

Co odkryliśmy o sobie samych

Zanim jeszcze przeczytaliśmy odpowiedzi, wyodrębnianie nazw zwróciło zero po japońsku, koreańsku, chińsku i arabsku - na próbkach, w których nazwy są oczywiste. Przyczyna mieści się w jednej linii naszego analizatora: żeby ciąg został zachowany jako nazwa firmy, musiał zawierać wielką literę.

To reguła łacińska. Te cztery pisma w ogóle nie znają podziału na wielkie i małe litery: wielka litera nie istnieje po japońsku, koreańsku, chińsku ani arabsku. Żadna nazwa firmy zapisana w tych alfabetach nie mogła spełnić warunku i wszystkie odrzucano w milczeniu.

Japoński audyt widział konkurenta tylko wtedy, gdy jego nazwa zawierała łacińską wielką literę.

Naprawiliśmy to tego samego ranka: znak z pisma bez rozróżnienia wielkości liter zastępuje teraz wielką literę, hebrajski i tajski są objęte zapobiegawczo, a reguła łacińska pozostaje nietknięta. Test, który utrwala poprawkę, sprawdzono od tyłu - po przywróceniu starej reguły padają cztery testy, po jednym na pismo.

Dlaczego to nie tylko historia o kodzie

Oto, co daje pomiar po naprawie analizatora, przy pytaniu o „najlepsze piekarnie”, rynek po rynku i silnik po silniku - udział wymienionych nazw zapisanych w miejscowym alfabecie:

W Tokio i Seulu wszystko, co nasz ekstraktor zatrzymuje dzisiaj, wczoraj było niewidzialne. Nie „niedoliczone”: niewidzialne. Raport wyrenderowałby się normalnie, z pustą tabelą konkurentów i zbudowanym na niej wynikiem.

Dubaj: dwa rynki w jednym mieście

Zapytany po arabsku o najlepsze piekarnie w Dubaju, ChatGPT wymienia dziesięć adresów. Ani jeden z dziesięciu nie nosi arabskiej nazwy: Ladurée, Paul, Baker & Spice, Le Pain Quotidien, Magnolia Bakery. Gemini przy tym samym pytaniu wymienia dwanaście nazw w piśmie arabskim na szesnaście; Perplexity dziewięć na szesnaście, wśród nich مخبز حبيب i مخبز الريف اللبناني.

Narzędzie umiejące czytać wyłącznie alfabet łaciński zobaczyłoby więc listę ChatGPT w całości, część listy Gemini, i doszłoby do wniosku, że piekarnia w Dubaju to Ladurée. Błąd odczytu i fakt rynkowy mają dokładnie ten sam kształt: to, co nie jest zapisane w Twoim alfabecie, nie jest liczone.

Reszta pomiaru potwierdza to, co seria pokazuje od dziesięciu dni. ChatGPT nie wymienił żadnej piekarni po koreańsku ani po francusku: odpowiadał pytaniami - „jaki chleb pan preferuje?”, „która dzielnica?”. Przy tym samym pytaniu Gemini wymienia jedenaście w Lyonie i jedenaście w Seulu.

Co z tym zrobić

Ograniczenia i jedno, które zostaje otwarte

Sześć rynków, dwie branże, jeden poranek, jeden model na silnik: to sondaż, nie spis powszechny. Nie sprawdzaliśmy, czy każdy wymieniony lokal istnieje - sklasyfikowaliśmy to, co jest wymieniane, nie audytowaliśmy firm.

I jedna dziura zostaje otwarta, więc lepiej to tutaj powiedzieć. Filtry odsiewające porady wzięte za firmy - „poproś o pisemną wycenę”, „sprawdź uprawnienia” - to listy zwrotów francuskich i angielskich. Nie obejmują czterech nowych pism. Powyższe zliczenia mieszają więc prawdziwe lokale z fragmentami porad, co nic nie zmienia w pomiarze alfabetu (porada po japońsku też jest zapisana po japońsku), ale zabrania czytać ich jako liczby firm. To następne zadanie i zostaje nazwane, a nie ukryte.