같은 질문을 다른 언어로 - 언급된 업체의 72%는 한쪽 언어에만 나옵니다

오늘 아침 ChatGPT에게 벨루오리존치에서 제일 좋은 회계사무소를 물었습니다. 포르투갈어로는 아무 이름도 대지 않았습니다 - 개인인가요 법인인가요, 어떤 업무인가요, 하고 되물었지요. 같은 1분에 같은 질문을 영어로 던지자 곧바로 명단이 나왔습니다. PwC Brasil, Deloitte Brasil, EY Brasil, KPMG Brasil, Grant Thornton Brasil.

답 둘, 도시 하나, 엔진 하나, 한순간. 벨루오리존치의 회계업을 그리고 있는 쪽은 어느 것일까요. 그리고 무엇보다, 당신이 미나스의 사무소라면 둘 중 어느 쪽에서 자신을 찾겠습니까.

차이 하나만으로는 아무것도 증명되지 않는 이유

어제 우리는 오늘의 측정에 불리한 결과를 냈습니다. 같은 질문을 같은 엔진에 스물네 시간 뒤에 던져도 같은 명단이 돌아오지 않는다는 것입니다. 엔진은 이미 자기 자신과도 일치하지 않습니다. 그러니 프랑스어와 영어가 갈린다고 말해 봐야, 엔진이 자기 자신과 얼마나 갈리는지 모르면 아무 말도 못 하는 셈입니다.

그것이 이번 측정의 대조군이고, 이 글의 진짜 주제입니다. 각 질문을 언어마다 두 번씩, 잇달아 던졌습니다. 두 번의 반복이 잡음의 바닥을 줍니다. 언어 사이의 비교는 그 바닥 위에서만 뜻을 가집니다.

이 대조군이 없었다면 우리는 잡음을 언어 효과라 부르며 발표했을 것입니다.

2026년 8월 15일에 잰 것

업종과 도시의 짝 여섯을 두 시장에서 맞춰 놓았습니다. 리옹, 낭트, 보르도의 배관·회계·빵집. 그리고 상파울루, 벨루오리존치, 쿠리치바의 같은 세 업종. 각 질문을 그 나라 언어와 영어로 두 번씩, 세 어시스턴트에게 던져 답변 72개. 질문은 유료 진단에서 실제로 쓰는 것이지, 이 글을 위해 새로 쓴 것이 아닙니다.

• 같은 언어로 다시 물으면 이름의 61%가 돌아옵니다. 열에 여섯. 이것이 잡음의 바닥입니다.
• 언어를 바꾸면 20%. 열에 둘입니다.
• 차이는 41포인트. 언어를 건너는 일은 질문을 다시 던지는 일보다 훨씬 멀리 떼어 놓습니다.
• 언급된 123개 업체 가운데 두 언어 모두에 나온 것은 35개 - 그리고 88개는 한쪽에만, 즉 72%입니다.

어느 엔진의 문제인가

전체 숫자는 핵심을 가립니다. 이 효과는 세 엔진에 똑같이 속하지 않습니다. Perplexity는 질문을 다시 던질 때 이름의 69%를 지키지만, 언어를 바꾸면 5%입니다. Gemini는 45%에서 25%로 갑니다. ChatGPT에서는 언어 간 차이가 잡음과 구별되지 않습니다 - 다만 이 엔진은 지역 업체를 워낙 적게 대기 때문에, 그 계산이 한 줌의 사례에만 기대고 있습니다. 세는 대신 그 사실을 밝혀 둡니다.

이 갈림은 열흘째 재고 있는 것과 앞뒤가 맞습니다. 효과는 웹을 찾아가는 엔진에 속합니다. 기억으로 답하는 엔진은 두 언어에서 대체로 같은 답을 합니다. 반면 검색하는 엔진은 언어에 따라 같은 곳을 찾아가지 않습니다 - 그러니 가져오는 것도 달라집니다.

가장 또렷한 사례 - 리옹의 배관공

리옹에서 제일 좋은 배관공을 프랑스어로 물으면 Perplexity는 Plomberie Roche Lyon과 Mb Plomberie를 댑니다. 같은 1분에 영어로 물으면 AS DEPANN, Abatir, APAMS Plomberie, Plomberie Paul.

지역 업체를 밀어낸 국제 기업들이 아닙니다. 양쪽 다 리옹의 배관공입니다 - 다만 같은 곳이 아닐 뿐. 그러는 동안 프랑스어로 다시 물으면 3분의 2가 돌아옵니다. 같은 엔진, 같은 도시, 같은 업종, 같은 순간에, 서로 겹치지 않는 실재 배관공 명단 둘.

다른 누군가도 이것을 봤을까

봤습니다. 밝혀 둘 만합니다. 사업자인 Peec AI는 2026년 2월 12일 자사 데이터 분석을 냈습니다. 1천만 건이 넘는 질문과 ChatGPT가 뒤에서 돌린 2천만 건의 검색에 대한 것으로, 그중 43%가 질문은 다른 언어로 던져졌는데도 영어권 웹에서 수행된다는 내용입니다. 영어로 가장 자주 넘어가는 것은 튀르키예어(94%), 가장 덜한 것은 스페인어(66%)이며, 영어권이 아닌 어떤 언어도 60% 아래로 내려가지 않습니다. 받아들이는 방식은 분명히 해 둡니다 - 사업자가 자기 데이터에 대해 한 발표이고, 방법론도 데이터셋도 공개되지 않아 바깥에서 검증할 수 없습니다. 그러나 그것은 우리의 숫자가 결과 쪽에서 드러내는 원리를 정확히 그리고 있습니다.

BrandGEO Global은 2026년 8월 1일, 7월 10일에 한 파리 시험을 냈습니다. 자산관리 분야에서 프랑스어 답변은 프랑스의 독립 부티크를 대고, 영어 답변은 국제적인 대형 프라이빗뱅크를 댑니다. 어떤 사무소는 네 개의 프랑스어 답변 중 셋에 나오고 네 개의 영어 답변 중 어디에도 나오지 않습니다. 분모는 출처가 밝힌 그대로입니다 - 네 개 범주, 언어당 질문 하나, 그날 쓸 수 있었던 엔진 넷, 그리고 파리 프롬프트 전부에서 실패한 ChatGPT. 이것은 한 점의 신호이지 계열이 아닙니다 - 우리가 대조군으로 메우려 한 것이 바로 그 차이입니다.

끝으로, 만든 쪽이 직접 써 두었습니다. Anthropic이 2026년 7월 24일 공개한 Claude Opus 5의 기술 문서에는 이렇게 적혀 있습니다. 'Claude is multilingual, typically responding in the same language as the user's input. Output quality varies by language.' 출력 품질은 언어에 따라 달라진다는 것입니다. 이 문장은 언급되는 업체에 대해서는 아무 말도 하지 않습니다 - 그 이상을 말하게 하지도 않겠습니다.

왜 지금, 프랑스에서 일어나는가

2026년 7월 22일, 구글은 프랑스 블로그에서 세바스티앵 미소프의 서명으로, 검색의 AI 개요와 AI 모드를 프랑스에 출시한다고 알렸습니다. '오늘부터 모바일과 데스크톱, 그리고 안드로이드와 iOS의 구글 앱에서'라고요. 프랑스의 생성형 표면은 이제 3주 되었습니다. 프랑스 상인들이 이에 대해 품는 물음은 늦은 것이 아니라, 정확히 제때입니다.

결론 전에 확인한 세부

여섯 개의 모국어 질문 중 둘이 문법적으로 틀려 있었습니다. 우리 템플릿이 남성형으로 일치시키는 바람에 'les meilleurs boulangeries'와 'os melhores padarias'가 되어 버린 것입니다. 그 템플릿을 담은 파일 스스로가, 잘못 쓴 질문은 더 나쁜 답을 얻는다고 적고 있습니다. 그것이 사실이라면 이 두 사례는 언어가 아니라 일치의 오류를 재고 있었던 셈입니다.

그래서 일치만 바로잡고 다른 것은 그대로 둔 채 두 질문을 다시 던졌습니다. 차이는 4.4포인트. 같은 질문을 다시 던졌을 때의 겹침이 48%인 것에 비하면 이것은 잡음입니다. 믿음은 확인되지 않았고 두 사례가 실격되지도 않았으며 - 그리고 템플릿은 바꾸지 않았습니다. 읽을 때 거슬리는 오류라는 것만으로는, 모든 고객의 측정을 옮길 이유가 되지 못하기 때문입니다.

이것이 당신에게 바꾸는 것

늘 그렇듯 한계

업종·도시 짝 여섯, 오전 한 번, 어시스턴트 셋. 표본 조사이지 전수 조사가 아닙니다. 비교한 것은 각 답변의 상위 여덟 개 이름으로, 우리 추출기가 붙잡는 범위입니다. 목록은 손으로 다시 읽었고 셈은 따라갈 수 있습니다 - 뽑아낸 334개 문자열 가운데 154개는 업체 이름이 아니었습니다. 소제목, 고르는 기준, 조언 같은 것들이지요. 23개는 디렉터리였습니다. 남은 157개 이름 중 4개를 두 번째 읽기에서 뺐습니다. 살아남은 153개 표기는, 같은 업소의 표기 흔들림을 묶고 나면 123개의 서로 다른 업체를 가리킵니다. 묶지 않았다면 'Aquarius'와 'Panificadora Aquarius'가 쿠리치바의 빵집 두 곳으로 셈해졌을 것입니다.

이 정리는 우리 결론에 유리하게 작용하지 않습니다. 오히려 결론을 단단하게 합니다. 걸러 내기 전에는 잡음의 바닥이 32%까지 내려가고 차이는 21포인트였습니다. 잡음을 걷어 냈기 때문에 차이가 벌어진 것입니다 - 잡음은 어떤 언어도 말하지 않으니까요.