같은 엔진, 같은 질문. 검색을 허용하자 32개 중 살아남은 이름은 하나뿐

여태 해 본 적 없는 실험 하나를 소개합니다. 결과가 우리에게 일주일치 수정을 안긴 실험입니다. 어시스턴트를 하나만 잡으십시오 - Gemini. 질문도 하나만. '보르도에서 제일 좋은 배관공은 누구입니까?' 모델도, 문장도, 날짜도 바꾸지 마십시오. 딱 한 가지만 바꿉니다 - 답하기 전에 구글을 보게 할 것인가, 말 것인가.

2026년 8월 10일 오늘 아침, 네 도시의 네 업종으로 해 봤습니다. 보르도의 배관, 낭트의 치과, 툴루즈의 정비소, 스트라스부르의 고급 식당. 질문 여덟 개, 엔진은 하나. 결과는 이렇습니다. 기억으로 나온 기업 이름 32개, 검색한 뒤 나온 기업 이름 32개, 그리고 두 목록에 함께 있는 이름은 딱 하나. 3퍼센트입니다.

이것은 같은 답의 두 판본이 아닙니다. 같은 서명을 단, 서로 다른 두 개의 답입니다.

이것이 당신 회사에 뜻하는 바

두 답변은 자신감의 어조가 완전히 같습니다. 검색 없이 Gemini는 '고객 후기와 지역 평판에 근거해 꾸준히 추천되는 보르도 배관공 선별'이라고 운을 떼고 이름을 댑니다. 검색을 켜면 '이용자 후기와 중개 플랫폼에 근거한 추천'이라고 운을 떼고 다른 이름을 댑니다. 정보의 출처가 바뀌었다는 사실을 독자에게 알려 주는 표현은 어디에도 없습니다.

그런데 당신의 손님이 쓰는 것은 앱 - 검색하는 쪽입니다. 검색 없이 모델에 질의하는 도구로 가시성을 확인한다면, 당신이 재고 있는 것은 그 모델의 기억입니다. 학습 때 담아 두고 몇 달 전에 멈춘 것. 실재하고 쓸모 있는 정보이며 인지도는 바로 거기서 측정됩니다. 그러나 오늘 당신의 손님이 보는 것은 아닙니다.

우리는 우리 점수 방식을 고쳐야 했습니다

이 구분은 우리에게 이론이 아닙니다. 제품을 망가뜨렸으니까요. 무료 진단은 엔진 둘에 질의합니다 - 하나는 웹을 검색하고 다른 하나는 기억으로 답합니다 - 그리고 점수는 둘의 평균을 냈습니다. 산술적 귀결은 이렇습니다. 검색하는 엔진이 1순위로 언급한 기업조차, 검색하지 않는 엔진의 침묵에 끌려 내려가 100점 만점에 50점에서 막혔습니다. 실제로는 15점이나 30점까지 떨어졌고, 보고서에는 '가시성 낮음'이라고 찍혔습니다.

직전 3주 동안 진단 74건 가운데 56건이 정확히 0을 냈습니다. 한 이용자가 더없이 간단한 말로 짚어 주었습니다. 자기 회사는 ChatGPT 앱에 나오는데 당신들 도구는 0점을 준다고. 그 사람이 옳았고 우리가 틀렸습니다.

8월 9일에 규칙을 바꿨습니다. 어시스턴트 중 적어도 하나가 실제로 웹을 검색했다면, 점수는 그 어시스턴트들만 셉니다. 기억으로 답하는 모델은 당신의 가시성을 증언하지 않습니다 - 그 '모르겠습니다'는 0이 아니라 미측정입니다. 상한에 막혀 있던 같은 진단이 이제는 엔진이 실제로 찾아낸 것을 반영하는 점수를 내고, 보고서마다 누가 검색했고 누가 기억으로 답했는지 이름을 밝힙니다.

문제는 우리 사례를 훨씬 넘어섭니다

오늘날 AI 가시성 측정 도구를 파는 회사는 스무 곳이 넘고, 방법이 다르니 같은 브랜드에 다른 답이 나옵니다. 가장 흔한 균열선이 방금 우리가 잰 바로 그 지점입니다 - 모델의 API에 질의할 것인가, 이용자가 앱에서 보는 것을 관찰할 것인가. 둘 다 결함이 있습니다. API는 앱이 아는 것을 과소평가하고, 화면 채집은 개인화된 한 세션을 표준으로 착각해 과대평가합니다.

이런 도구를 사는 쪽에 실질적인 귀결은 이렇습니다. 공급사에 그 측정이 웹 검색을 거치는지 물어보십시오. 대답하지 못하거나 질문을 껄끄러워한다면, 그 숫자는 당신이 생각하는 뜻이 아닙니다. 호기심 많은 사람의 기술 문답이 아닙니다 - 언급된 이름의 3%와 100%의 차이입니다.

내일 아침 무엇을 할까

• 직접 확인하십시오. 손님이 실제로 쓰는 ChatGPT나 Gemini 앱에 물어보십시오. 아무도 반박할 수 없는 유일한 측정입니다.
• 어떤 AI 가시성 도구에든 - 우리 것을 포함해 - 어느 엔진이 검색했고 어느 엔진이 기억으로 답했는지 밝히게 하십시오. 그것을 말하지 않는 도구는 두 개의 측정을 섞고 있습니다.
• 두 층은 이기는 방식이 다르니 둘 다 다루십시오. 검색은 엔진이 답하는 순간에 읽는 디렉터리와 후기에서 이깁니다. 기억은 다음 학습이 빨아들일 언급을 통해 시간을 두고 이깁니다.
• 우리 무료 진단은 60초 만에 어시스턴트들에게 묻고 계정도 필요 없습니다. 어제부터는 어느 쪽이 검색했는지도 알려 줍니다.

끝으로 한마디. 평소에는 내지 않는 종류의 글이기 때문입니다. 측정을 파는 제품이 제대로 재지 못했다고 인정하는 일은 유쾌하지 않고, 단기 매출에는 아마 해로울 것입니다. 그러나 우리가 파는 것은 정직한 측정입니다. 방법을 고친 사실을 감추는 것이야말로, 우리가 독자에게 경계하라고 일러 온 바로 그 행동이 됩니다. 방법론은 공개되어 있고, 날짜가 있으며, 이제 이 규칙이 또렷이 적혀 있습니다.