ChatGPT는 리뷰를 볼 수 없다고 말한 뒤, 고객이 무엇을 좋아하는지 말한다

요약: 영국에서 가장 좋은 정비소, 미용실, 열쇠 수리점을 묻자 ChatGPT는 488건의 답변 중 112건에서 이름을 든 업체에 대해 다른 고객들이 무슨 말을 하는지 전했다. 「Customers appreciate their knowledgeable staff who provide tailored security advice.」 이 답변들에 담긴 칭찬 문장 176개 가운데 리뷰 사이트나 평점을 밝힌 문장은 하나도 없다. 그중 29건에서는 같은 답변에 「I can't provide real-time recommendations or reviews」라고 쓰여 있다. Gemini는 488건 중 72건에서 고객의 칭찬을 전했고, 그중 4건에서 출처(Google, Checkatrade, Facebook, Trustpilot)를 밝혔다.

리뷰를 읽을 수 없다고 말한다. 그리고 리뷰에 뭐라고 쓰여 있는지 알려 준다.

무엇을 측정했나

영국 연구(2026년 7월 31일 수집)는 최대 13개 도시의 20개 업종에 대해 같은 구매자 질문(「What are the best garages in Leeds?」)을 ChatGPT(gpt-4o-mini)와 Gemini에 API로, 웹 검색 없이, 위치 정보 없이 던졌다. 답변은 976건이다. 두 엔진 모두 답하기 위해 리뷰 페이지를 읽지 않았다. 고객에게 칭찬을 돌리는 문장(「patients praise」「guests appreciate」「clients rave about」「praised by local homeowners」「rave reviews」)을 먼저 24개 문장으로 시험한 패턴으로 추출했다. 351개 문장이 나왔고 모두 사람이 직접 읽었다. 262개는 특정 업체에 칭찬을 돌렸고, 89개는 조언(「Look for brokers with positive reviews」)이나 일반론이어서 제외했다. 리뷰 플랫폼이나 평점을 밝힌 문장만 근거가 있는 것으로 셌다. 자동 표시는 광고 서비스인 「Google Ads」도 잡았지만 세지 않았다. 이어서 같은 답변에서 실시간 데이터가 없다는 ChatGPT 자신의 경고를 찾아 69건을 모두 읽었다.

ChatGPT는 호텔과 살롱, Gemini는 치과

ChatGPT가 고객의 칭찬을 가장 자주 전하는 업종은 자동차 정비소(26건 중 16건), 미용실·뷰티 살롱·운전학원(각 12건), 호텔(10건)이다. 호텔에서는 투숙객의 목소리로 쓴다. 「Guests love the contemporary rooms and the relaxing atmosphere.」 치과에 대해서는 한 번도 그러지 않는다. Gemini는 이 업종에서 반대다. 치과에 대한 26건의 답변 중 8건이 환자들이 한다는 말을 싣는다(「Patients consistently praise them for being gentle and thorough.」). 호텔에 대한 답변에서는 0건이다. ChatGPT가 칭찬을 전하는 112건 중 69건에는 실시간 데이터가 없다거나 지식의 기준 시점을 밝히는 경고도 들어 있다. 29건에서는 제공할 수 없는 것 가운데 리뷰가 꼽힌다. 「I can't provide real-time recommendations or reviews」라고 쓴 뒤, 같은 답변에서 노팅엄의 미용실에 대해 「Customers often praise the personalized consultation and the attention to detail.」라고 이어진다. 칭찬은 업체에서 업체로 되풀이된다. 「attention to detail」은 ChatGPT의 112건 중 15건에 나온 칭찬이다. Gemini의 근거 있는 4개 문장은 모두 같은 유형, 즉 한 플랫폼의 리뷰 양이다. 리즈의 가스 설비 기사에 대해 「They have a massive volume of positive reviews across Google and Checkatrade.」. 그 리뷰가 실제로 있는지는 확인하지 않았다.

당신이 업체라면 무엇이 달라지나

ChatGPT가 당신의 고객을 대신해 말할 때, 그것은 기억으로 말한다. 「customers appreciate their transparency」에는 확인할 리뷰가 하나도 붙어 있지 않고, 같은 몇 가지 칭찬이 업체에서 업체로 되돌아온다. 모델이 되풀이할 수 있는 것은 당신에 대해 말로 쓰여 있고, 모델이 읽을 수 있었던 곳에 있는 것뿐이다. 바로 당신의 웹페이지와 고객이 남기는 리뷰다. 만족한 고객에게 별점만이 아니라 무엇이 좋았는지 한 문장으로 써 달라고 부탁하고, 동의를 받아 당신의 사이트에 인용하라. 이것은 합리적인 한 걸음이지 효과가 알려진 지렛대가 아니다. 무엇이 모델로 하여금 칭찬을 전하게 하는지는 측정하지 않았고, 여기 어떤 것도 이름이 불린다는 보장은 없다.

이것이 증명하지 않는 것

• 웹 검색 없이, 사용자 위치 없이 API로 얻은 모델의 답변이며, 우리 진단이 묻는 방식이다. 검색을 켜면 어시스턴트는 실제 리뷰를 읽을 수 있다. 여기서는 읽을 수 없었다.
• 사람이 직접 읽은 것은 영국 연구뿐이다. 나머지 7개 연구(미국, 캐나다, 호주, 뉴질랜드, 싱가포르, 프랑스, 브라질)를 문장별로 읽지 않고 자동으로 세면 모두 같은 순서(ChatGPT가 Gemini보다 많음)였고, 브라질에서는 근소한 차이였다.
• 칭찬이 사실인지, Gemini가 언급한 리뷰가 실제로 있는지는 확인하지 않았다.
• 각 질문은 2026년 7월 31일에 한 번씩 던졌다.