AI는 수상 경력을 드물게 언급한다. 다섯 번 중 두 번은 미쉐린

짧은 답: AI가 업체를 추천할 때 수상 같은 평가를 언급하는 경우는 1.2%이며, 다섯 번 중 두 번은 미쉐린 별이다. 4개국에서 ChatGPT나 Gemini가 업체를 추천하는 16,022개 문단 가운데 191개가 상, 가이드, 순위를 이유로 들었다. 미쉐린 가이드만 76개다. 레스토랑에서는 문단 여섯 개 중 하나에 평가가 나오지만, 배관, 전기, 열쇠, 정비소, 운전학원에서는 4,809개 중 6개에 그친다. AI는 상 자체를 보상하지 않는다. 이미 알고 있는 심사자의 평가를 되풀이할 뿐이다.

평가가 AI의 답변에 닿는 것은 모델이 이미 아는 심사자에게서 나올 때다.

무엇을 측정했나

10월 1일과 2일 호와 같은 자료를 같은 방식으로 나눴다. 미국, 영국, 프랑스, 브라질의 네 가지 연구에서 구매자 질문을 ChatGPT(gpt-4o-mini)와 Gemini에 프로그래밍 인터페이스로, 웹 검색 없이 물었다. 답변은 3,600건이고, 그 안에 이름이 나온 업체 하나씩을 다룬 문단 16,022개가 있다. 각 문단에서 평가를 찾았다. 상(“award-winning”, “primée”, “premiado”), 가이드(미쉐린, 고 에 미요), 칭호(MOF), 순위(Chambers, Legal 500), 독자 투표(“Best of”). 검출기는 양성 15건과 음성 10건으로 검증했고, 다시 읽으며 세 번 고쳤다. 프랑스어 “se distingue par”(~로 돋보인다)는 평가가 아니고, “the best of both worlds”도 아니며, 조언(“수상 경력이 있는 변호사를 찾으세요”)은 업체에 대해 아무것도 말하지 않는다.

상은 레스토랑에서 나오고, 기술직에서는 거의 나오지 않는다

거의 전부가 레스토랑이다. 452개 문단 중 74개, 여섯 개 중 하나가 평가를 언급하며, 영국 22.5%에서 브라질 11.1%까지다. 그다음은 프랑스 베이커리(102개 중 8개, MOF 장인 포함)와 호텔이다. 집으로 와서 일하는 업종의 답변에서는 평가가 사실상 없다. Gemini는 ChatGPT보다 4.4배 자주 언급해, 문단의 2.3% 대 0.5%였다.

다섯 중 둘은 하나의 가이드에서

미쉐린이 191건 중 76건, 다섯 중 둘이다. 기타 상(71건)에는 이름 있는 상(“James Beard Award winner” 셰프, “Forbes Five-Star” 호텔)과 그냥 “award-winning”이 섞여 있다. 예를 들어 광고 대행사나 미용실이다. 많은 디렉터리가 파는 “Best of” 목록과 독자 투표는 16,022개 문단 중 8개에만 나온다.

당신이 그 업체라면 무엇이 달라지나

평가가 AI 답변에 들어가는 것은 모델이 이미 아는 심사자, 즉 가이드, 국가적 칭호, 업계가 인정하는 순위에서 나올 때다. 그런 심사자가 있는 업종(레스토랑, 베이커리, 기업 법무)에서는 그 평가를 얻는 것이 눈에 보이는 수단이 되고, AI는 그것을 이름으로 언급한다. 그런 심사자가 없는 업종에서는 디렉터리에서 산 “Best of” 배지가 어시스턴트가 되풀이할 내용이 될 가능성이 낮다. 면허나 분명한 가격 같은 다른 증거가 힘을 갖는다(9월 19일과 29일 호). 그리고 진짜 평가를 갖고 있다면 자신의 페이지에 온전히 적어 두라. 누가, 무엇으로, 몇 년에 수여했는지. “수상 경력”만으로는 손님에게도 모델에게도 확인할 거리가 없다.

이 측정이 증명하지 않는 것

• 세는 것은 표현이지 의도가 아니다. 무작위로 뽑은 60개 문단으로 다시 읽어 보니 검출기는 57번 맞았다. 틀린 3건은 일반적 조언 2건과 비유 1건(“변호사 업계의 미쉐린 가이드”)이다.
• 종류별 분류는 처음 발견된 단어를 따른다. “award-winning” 뒤에 제임스 비어드 상을 이름으로 드는 문단은 “기타 상”으로 센다.
• 기억에서 나온 답변이며 웹 검색이 없고, 어시스턴트당 모델 하나, 국가당 날짜 하나다(미국 9월 13일, 영국 7월 31일, 프랑스 7월 30일, 브라질 2026년 8월 6일). 언급된 평가가 정확한지, 여전히 유효한지는 검증하지 않았다. 잃은 별이 모델의 기억에 남아 있을 수 있다.
• 평가가 추천으로 이어진다는 것을 증명하지 않는다. 이미 추천하는 업체 가운데 AI가 평가를 이유로 드는 빈도를 측정했을 뿐이다. 손님은 관찰하지 않았다.