열 개 언어로 같은 질문 - 세계적인 다섯 분야 가운데 같은 브랜드가 돌아온 것은 하나뿐이었습니다

짧은 답 - 질문하는 언어가 바뀌면 추천되는 기업도 바뀝니다. 저희가 시험한 다섯 분야 가운데 넷에서 바뀌었고, 나머지 하나에서는 전혀 바뀌지 않았습니다. 어느 나라 이름도 넣지 않은 같은 질문을 열 개 언어로 ChatGPT, Gemini, Perplexity에 던졌습니다. 언급된 기업은 193곳. 그중 열 개 언어 모두에서 언급된 곳은 34곳, 한 언어에만 나타난 곳은 76곳입니다.

번역상의 미묘한 차이가 아닙니다. 호스팅 업체, 결제 대행사, 예약 플랫폼에게 영어로 수행한 가시성 점검은 도쿄나 서울, 리야드의 고객이 무엇을 보는지에 대해 거의 아무것도 말해 주지 않습니다. 신발 제조사에게는 정확히 같은 것을 말해 줍니다. 이 두 세계의 차이는 측정할 수 있고, 설명도 단순합니다.

무엇을, 어떻게 측정했는가

움직이는 변수는 하나뿐입니다 - 언어. 질문에는 나라 이름이 없습니다. 「독일에서 가장 좋은 웹 호스팅 업체는」이 아니라, 독일어로 「가장 좋은 웹 호스팅 업체는 무엇입니까」라고 묻습니다. 그래서 목록이 바뀐다면 그 변화의 출처는 언어뿐입니다. 다른 무엇도 움직이지 않았으니까요.

같은 다국적 기업이 어디서나 후보가 되도록 다섯 개의 세계적 분야를 골랐습니다 - CRM 소프트웨어(고객관계관리), 러닝화, 온라인 결제, 호텔 예약, 웹 호스팅. 열 개 언어 - 영어, 프랑스어, 포르투갈어, 스페인어, 독일어, 폴란드어, 일본어, 한국어, 중국어, 아랍어. 세 개의 어시스턴트. 답변 150건에 대조 추출 30건을 더했습니다.

같은 영어 질문을 두 번 해도 같은 답이 오지 않습니다

이것이 대조이며, 이것 없이는 무엇도 공개할 수 없습니다. 어시스턴트는 결정론적이지 않습니다. 완전히 같은 영어 프롬프트를 다시 던져도 같은 목록은 돌아오지 않습니다. 그래서 영어만은 분야마다, 엔진마다 세 번 뽑아, 엔진이 스스로와 얼마나 어긋나는지를 측정했습니다.

같은 영어 프롬프트를 두 번 뽑아도 겹치는 것은 분야에 따라 62~76 %에 그칩니다. 언어 사이의 차이는 이 바닥에 견주어 읽을 수밖에 없습니다 - 그러지 않으면 잡음을 결과라 부르며 내놓게 됩니다.

이 바닥이 있어야 아래 표를 읽을 수 있습니다. 「영어 대 영어」 칸은 우연만으로 생기는 것이고, 그다음 칸은 언어를 바꿔서 생기는 것입니다. 의미를 갖는 숫자는 둘 사이의 차이뿐입니다.

분야별 결과

러닝화는 1포인트도 움직이지 않습니다. 아랍어로 묻든 한국어로 묻든 영어와 같은 브랜드가 돌아옵니다 - 영어로 두 번 물었을 때의 흔들림 범위 안에서 말입니다. Nike, Adidas, ASICS, Brooks, New Balance, HOKA, Saucony, Altra, Salomon 아홉 브랜드가 열 개 언어 모두에서 언급됐습니다.

왜 신발만 예외인가

축은 언어가 아니라 그 서비스를 얼마나 현지에서 제공해야 하는가입니다. 신발은 리옹에서도 오사카에서도 제다에서도 같은 물건입니다. 만드는 곳은 세계적이고 제품은 동일하며 현지화할 것이 없습니다. 결제 대행사에는 현지 은행 인가가, 호스팅 업체에는 데이터센터와 그 언어의 지원이, 예약 플랫폼에는 그 나라의 호텔 재고가 필요합니다.

서비스가 현장에서 전달되어야 할수록 언어는 추천을 다시 배정합니다. 그래서 이 다섯 분야 가운데 웹 호스팅이 가장 민감하고(잡음 바닥보다 24포인트 아래), 러닝화가 가장 둔합니다(영).

모국어로는 보이고 영어로는 결코 나오지 않는 이름

집계용 어휘는 150개 답변을 읽어 만든 뒤 열 개 언어에 똑같이 적용해 찾았습니다. 그러니 어떤 이름이 한 언어에만 나온다면, 다른 언어에서 찾지 않아서가 아닙니다.

영어도 하나의 시장이지, 중립적인 시점이 아닙니다

이것이 역방향 검증이고, 중요합니다. 한 언어에만 나온 76곳 가운데 12곳은 영어의 것입니다 - Helcim, Venmo, GoCardless, Paytm, ScalaHosting, Flywheel, Rocket.net, Nimble, On Running, Accor, Wyndham, Tablet Hotels. 영어는 「세계의 시야」에 다른 지역의 특색이 조금 덧붙은 것이 아닙니다. 폴란드어가 폴란드어의 시장을 비추듯, 영어도 하나의 시장을, 대체로 북미의 시장을 비춥니다.

프랑스 호텔 그룹인 Accor가 이번 측정에서 영어로만 언급됐다는 사실 하나로, 각 언어가 그저 자국 챔피언을 끌어온다는 견해는 물리칠 수 있습니다. 그렇게 기계적이지는 않습니다.

국제적인 브랜드에게 무엇이 달라지는가

한계, 그리고 찾지 못한 것

다섯 분야, 하룻밤, 엔진당 한 모델. 이것은 표본 조사이지 전수 조사가 아닙니다. 영어가 세 번인 자리에서 나머지 아홉 언어는 한 번씩입니다 - 그러나 바로 그것이 바닥이 재는 값입니다. 바닥 역시 한 번과 한 번을 비교하니까요. 집계용 어휘는 얻은 답변에서 만들었습니다. 아무도 말하지 않은 기업은 셀 수 없었습니다.

이 연구에는 저희 제품의 경쟁사 추출기를 쓰지 않았습니다. 그것은 한 답변에서 여덟 곳의 표를 채우도록 맞춰진 도구이지, 열 개의 말뭉치를 서로 견주기 위한 도구가 아닙니다. 여기서 정직한 계기는 손으로 고르고 균일하게 적용한 어휘뿐이었습니다.

끝으로, 측정이 반증한 가설 하나. 중국어 답변은 주로 중국 업체를 언급하리라 예상했습니다. 실제로 阿里云, 腾讯云, 华为云 가 나옵니다 - 그러나 SiteGround, Hostinger, Kinsta, WP Engine, DigitalOcean 도 나오고, 언급한 업체 수는 평균보다 많습니다. 언어는 지역 참여자를 더할 뿐, 세계적 참여자를 대체하지 않습니다.