추천 10,105번 중 ChatGPT가 단서를 단 것은 한 번뿐

요약하면, 거의 없다. 4개국에서 ChatGPT가 이름 있는 업체를 추천한 구절 10,105개 가운데 단서를 단 것은 단 한 번이었다. 로스앤젤레스의 Kogi BBQ가 긴 줄과 열성 팬을 끌어모은다는 문장이다. Gemini는 5,917개 중 65개, 1.1%에서 단서를 단다. 그 내용은 대부분 인기의 대가로, 대기나 줄(30)과 높은 가격(29)이다. 고객 불만은 두 번 나오는데, 둘 다 런던의 같은 임대 중개업체에 관한 것이다. 거의 절반은 같은 문장 안에 변명이 함께 온다. 오래 기다려야 하지만 버거는 그럴 가치가 있다는 식이다.

ChatGPT는 "하지만" 없이 추천한다.

무엇을 측정했나

2026년 10월 10일에 다시 읽은 네 가지 연구다. 같은 구매자 질문("글래스고의 좋은 치과", "리즈 최고의 레스토랑")을 ChatGPT(gpt-4o-mini)와 Gemini에 API로, 웹 검색 없이, 미국(2026년 9월 13일), 영국(7월 31일), 프랑스(7월 30일), 브라질(8월 6일)에서 물었다. 답변 3,600개를 구절로 나누고 업체 이름이 있는 16,022개를 남겼다. 각 구절에서 업체에 붙은 단서를 찾았다. 높은 가격("pricey", "un peu plus cher", "preços elevados"), 대기나 혼잡("expect a queue", "réservez à l'avance"), 불만("mixed reviews", "reclamações"), 명시된 단점("Cons:", "ponto negativo")이다. 각 탐지기는 잡아야 할 표현과 잡으면 안 되는 표현으로 시험했다. 읽기 전에 헷갈리는 단어 하나를 뺐다. 브라질의 "salgados"는 빵집의 짭짤한 간식이지 짠 가격이 아니다. 이어 더 넓은 그물 두 개를 던졌고, 찾은 256개를 모두 읽었다. 업체 이름 없는 일반 조언, 그 단어를 쓴 칭찬, 업체가 아닌 업종에 대한 단서, 짧은 대기를 장점으로 말한 것 등 190개를 빼자 66개가 남았다. 조언 상자는 업체 이름을 들면 셌다.

Gemini는 인기를 경고하고, ChatGPT는 아무것도 경고하지 않는다

ChatGPT의 유일한 단서도 단서라고 하기 어렵다. Kogi BBQ가 긴 줄과 열성 팬을 끌어모은다는 것이다. 나머지 10,104개 구절에서 이름을 든 업체에는 "하지만"이 붙지 않는다. Gemini는 구절의 1.1%에서 단서를 달고, 그 내용은 인기의 대가다. 레스토랑, 빵집, 미용실의 줄과 예약, 빨리 와 주는 배관공이나 가스 기사의 높은 요금이다. 65개 단서 중 30개는 같은 문장 안에 변명이 함께 오고(비싸지만 품질의 기준으로 꼽힌다), 6개는 장단점 목록에 들어 있다. 진짜 비판은 드물다. 런던의 Foxtons가 영업 방식으로 두 번, 브라질의 QuintoAndar와 Contabilizei가 채팅으로만 응대한다는 이유로 나올 뿐이다. 불만은 오히려 뒤집혀 나타난다. 38개 구절이 정비소, 배관공, 전기 기사를 불필요한 작업을 권하지 않는다고 칭찬하며, 그중 36개가 Gemini다. 국가별로는 영국 25, 미국 19, 브라질 15, 프랑스 7이다.

구글은 약간의 나쁜 리뷰를 당연하게 본다

구글 자체 가이드라인은 그렇게 완벽하지 않은 모습을 그린다. Search Quality Rater Guidelines(2025년 9월 11일판, 2026년 10월 10일 확인)의 3.3.2절(고객 리뷰)은 어느 상점이나 업체도 부정적인 리뷰를 몇 개 받을 수 있고, 그것은 완전히 정상적이며 예상되는 일이고, 리뷰의 수나 별점보다 내용이 중요하다고 평가자에게 알려 준다. 우리가 측정한 답변에는 그런 내용이 거의 없다.

업체에게 주는 의미

답변이 경고하는 것은 당신에 대해 쓰인 내용이고, 그 대부분은 인기의 대가다. 줄, 몇 주 전 예약, 높은 가격이다. 해당된다면 어시스턴트보다 먼저 말하고, 그것으로 무엇을 얻는지도 말하라. Gemini는 65개 단서 중 30개에서 변명을 단서 바로 옆에 둔다. 대기가 있어도 들어오는 방법(예약 링크, 대기 명단, 예약 없는 시간)을 올리고, 가격이 높다면 무엇이 포함되는지 쓰라. 이것이 이름이 언급된다는 보장은 아니며, "하지만" 없는 답변은 리뷰가 아니다. 고객은 여전히 당신의 리뷰를 읽는다.

이 측정이 증명하지 않는 것

• API를 통한, 웹 검색 없는 모델 답변이다. 검색을 켠 앱은 리뷰를 인용할 수 있지만 이 측정에는 보이지 않는다.
• 목록 밖의 표현은 놓친다. 넓은 그물 두 개를 던지고 모두 읽었으므로 합계는 하한이다. ChatGPT에 대해서는 그물이 다른 단서를 찾지 못했다.
• 조언 상자는 업체 이름을 들면 셌다. 이 규칙이 없으면 Gemini의 수는 줄지만 ChatGPT는 변하지 않는다.
• 단서의 내용이 사실인지는 확인하지 않았다.
• 2026년 7월 30일부터 9월 13일 사이에 수집한 네 연구, 질문당 1회.