같은 요구를 달리 물으면, 어시스턴트는 목록 대부분을 바꾼다

짧은 답 - ChatGPT에 사는 도시의 가장 좋은 배관공을 묻고, 이어서 같은 도시의 가장 많이 추천되는 배관공을 물어보십시오. 같은 요구지만 같은 목록이 아닙니다. 682쌍의 답변에서 방금 거명한 업체 중 남은 것은 16~29%뿐이었고, 네 번 중 한 번에서 두 번 중 한 번은 하나도 남지 않았습니다.

AI가 내 업체를 추천하는지 알고 싶으실 겁니다. 그 질문은 목록이 있고 그 안에 자리가 있다고 전제합니다. 우리 측정은 다른 말을 합니다. 있는 것은 답변이며, 그것은 입력된 바로 그 문장에 붙어 있습니다. 요구를 바꾸지 않고 문장만 바꾸면, 같은 어시스턴트가 같은 날 같은 도시와 같은 업종에 대해 상당 부분 다른 업체로 답합니다. 예외는 하나뿐이었습니다 - 실제로 웹을 검색한 어시스턴트입니다.

목록 안의 자리는 순위가 아닙니다. 한 문장에 대한 답변입니다.

무엇을 측정했는가

Waseit의 여덟 개 연구는 모든 도시와 모든 업종에서 같은 요구를 두 가지로 묻습니다. 「{도시}에서 가장 좋은 {업종}은 어디입니까」, 그리고 「{도시}에서 가장 많이 추천되는 {업종}을 나열하고 이유를 설명하십시오」. 지금까지는 어시스턴트끼리 비교했습니다. 이번에는 각 어시스턴트를 자기 자신의 두 답변끼리 비교합니다. 두 답변이 모두 최소 한 업체를 거명한 쌍만 남겼습니다 - 3,729쌍, 8개국, 89개 도시, 148개 국가-업종 조합. 2026년 7월 31일부터 10월 16일 사이에, 언제나 해당 국가의 언어로 수집했습니다. 세 어시스턴트를 서로 비교하는 부분은 셋 모두 답한 프랑스, 영국, 브라질로 한정했습니다 - 2,044쌍, 어시스턴트당 약 681쌍입니다.

업체 이름을 대응시키는 데 자명한 규칙은 없습니다. 「Poilâne」과 「Boulangerie Poilâne」은 같은 가게지만 「Table de l'Ours」와 「Table de l'Olivier」는 다릅니다. 그래서 하나의 수치 대신 두 경계를 제시합니다. 엄격한 경계는 정규화 후 완전히 같은 이름만 묶어 남은 양을 낮게 봅니다. 넓은 경계는 업종어와 도시명을 빼고 특징적인 단어가 하나라도 겹치면 묶어, 일부러 과하게 묶습니다. 진실은 그 사이에 있고, 둘 다에서 성립하는 것만 공표합니다.

질문을 달리 쓰면 목록에는 무엇이 남는가

대부분이 사라집니다. ChatGPT는 첫 답변 업체의 16~29%, Gemini는 12~28%만 남깁니다. 달리 말하면 뜻을 바꾸지 않고 문장만 바꿔도 목록의 약 4분의 3이 교체됩니다. 게다가 아무것도 남지 않는 일이 드물지 않습니다 - ChatGPT는 넓은 대응에서 네 번 중 한 번, 엄격한 대응에서는 두 번 중 한 번입니다. 맨 앞에 놓인 업체는 더 버티지 못합니다. ChatGPT가 그 자리를 유지하는 것은 쌍의 11~19%, Gemini는 6~11%입니다.

한 어시스턴트가 뚜렷이 앞서고, 두 대응 방식 어느 쪽에서도 같은 어시스턴트입니다. Perplexity는 자기 목록의 37~50%를 남기고, 같은 업체를 맨 앞에 되돌리는 빈도가 Gemini의 세 배입니다. 셋 중 답변 전에 실제로 웹 페이지를 가져온 유일한 어시스턴트이기도 합니다. ChatGPT와 Gemini는 프로그래밍 인터페이스로, 검색 없이 질의했습니다. 반면 ChatGPT와 Gemini의 차이는 대응 방식을 바꾸면 사라집니다(넓은 대응에서 29% 대 28%). 둘 사이의 우열은 가리지 않습니다.

내 업체라면 무엇이 달라지는가

한 번의 확인은 아무것도 증명하지 않습니다. 업종과 도시를 ChatGPT에 한 번 넣어 상호가 나왔다면, 참이지만 매우 좁은 사실을 안 것입니다 - 그 문장이, 그날, 내 업체를 띄웠다는 것. 고객에게는 같은 뜻인 옆 문장이 내 업체를 뺄 수 있습니다. 그래서 측정하는 것은 순위가 아니라 여러 묻는 방식에 걸친 빈도입니다. 「우리는 항상 1등으로 나온다」고 장담하는 동종업자가 있는 이유도 같습니다. 자기를 띄우는 표현을 기억한 것입니다. 앞서 두 어시스턴트가 같은 답을 내는 일은 드물다는 것을 보였습니다. 같은 어시스턴트도 두 번 물으면 자기 자신에게 같은 답을 주지 않습니다.

내 업체에 대해 어시스턴트는 뭐라고 할까

Waseit 무료 진단이 하는 일이 바로 그것입니다. 하나가 아니라 여덟 개, 고객이 실제로 입력하는 질문을 그들의 언어로, 내 도시에 대해 ChatGPT와 Gemini에 던집니다. 여기에 「AI가 당신을 모른다」와 「AI가 당신을 알면서 추천하지 않는다」를 가르는 인지도 테스트가 더해집니다. 약 60초면 100점 만점 점수, 내 자리에 거명된 경쟁사, 내가 나오지 않는 질문, 그리고 어느 어시스턴트가 기억으로 답하지 않고 실제로 웹을 검색했는지를 봅니다. 무료, 계정 없이, 카드 없이. 이메일 주소로 열리는 것은 경쟁사 이름과 실행 계획뿐입니다. 이것은 날짜가 찍힌 사진이지 순위표가 아닙니다 - 답변이 얼마나 움직이는지를 보인 것이 이 글이며, 우리는 어떤 순위도 약속하지 않습니다.

이것이 증명하지 않는 것

• 업체 이름 대응에 단일한 규칙은 없고, 그래서 두 경계를 제시합니다. 넓은 쪽은 일부러 과하게 묶어, 단어 하나를 공유한다는 이유로 「Table de l'Ours」와 「Table de l'Olivier」를 같다고 봅니다. 엄격한 쪽은 「Poilâne」과 「Boulangerie Poilâne」을 가릅니다. 진짜 수치는 그 사이에 있고, 둘 다에서 참인 결론만 남겼습니다.
• 넓은 대응에서 ChatGPT와 Gemini는 1포인트 차입니다. 둘의 우열을 가리지 않으며, 이 글은 어느 쪽이 더 안정적이라고 말하지 않습니다. 두 경계 모두에서 유지되는 것은 Perplexity와 나머지 둘의 차이뿐입니다.
• 저장된 답변에는 거명된 처음 여덟 업체만 남습니다. 따라서 비교 대상은 짧은 목록이지 어시스턴트가 댈 수 있었던 전부가 아닙니다. 두 답변이 우리가 결코 보지 못하는 아홉 번째 이름을 공유할 수도 있습니다.
• 표현은 두 가지뿐이고 각각 한 번씩, 2026년 7월 31일부터 10월 16일 사이의 단일 수집입니다. 날마다 무엇이 바뀌는지에 대한 측정이 아니며, 그것은 별개의 질문입니다.
• 이번 수집에서 Perplexity는 프랑스, 영국, 브라질에서만 답했으므로 세 어시스턴트의 비교는 이들 나라에 한정됩니다. 또 웹을 검색했다는 사실은 그 안정성과 함께 관찰될 뿐, 원인임을 보인 것은 아닙니다.
• 우리가 센 것은 이름의 교체이지 오류가 아닙니다. 두 목록 중 어느 쪽이 더 낫다거나 그 도시를 실제로 담당하는 업체에 더 부합한다고 말하지 않습니다. 자동 추출이 기준이나 플랫폼을 업체로 오인할 수도 있으며, 이전 호들에서 측정했습니다.