같은 질문을 24시간 뒤에 - 아무도 대지 않던 엔진이 이제 네 곳을 댑니다

어제는 같은 1분에 세 어시스턴트가 얼마나 어긋나는지를 쟀습니다. 남은 것은 장사하는 사람이 정말로 품는 물음입니다 - 내일 다시 해 보면 같은 말을 할까?

오늘 아침, 어제의 여섯 질문을 다시 돌렸습니다. 새로 쓴 것이 아니라 전날 파일에서 그대로 읽어 같은 세 엔진에 그대로 보냈습니다. 바뀌는 변수는 시간뿐입니다.

그 자체로 답이 되는 사례

어제 니스에서 제일 좋은 치과를 물었을 때 Gemini는 병원을 하나도 대지 않았습니다. 예약 플랫폼과 고르는 기준으로 답했지요. 오늘, 같은 질문에 네 곳을 댑니다 - Cabinet Avident, Arenas Dentistes, Dentego, Clinadent.

이 스물네 시간 동안 그 병원들에 달라진 것은 없습니다. 질문에도 달라진 것이 없습니다. 어제 시험해 본 니스의 치과의사라면 자기 업종에서는 AI가 아무도 대지 않는다고 확신하며 돌아섰을 것입니다. 같은 시험이 오늘은 경쟁자 넷을 보여 줍니다.

한 번의 시험은 당신의 가시성을 재지 않습니다. 그날의 가시성을 잴 뿐입니다.

하룻밤을 넘기는 이름은 몇이나 될까

목록을 이름 하나하나, 손으로 대조했습니다. 표기가 흔들리는 경우는 같은 것으로 묶었습니다('Victor Plomberie'와 'Victor Plombier', 'Caroline Meunier Avocat'와 'Cabinet Caroline Meunier'). 여섯 도시를 통틀어:

안정성은 업종에 따라 크게 달라집니다. 니스의 치과에서 Perplexity는 일곱 중 일곱을 지켰고 하나만 더했습니다. 거의 굳어진 목록이지요. 낭트의 정비소에서는 같은 엔진이 일곱 중 하나만 지켰습니다. 같은 엔진, 같은 날, 두 업종. 한쪽은 안정된 목록, 다른 쪽은 제비뽑기입니다.

ChatGPT가 마침내 이름을 댈 때, 그것은 동네 가게가 아닙니다

적어 둘 만한 세부가 하나 있습니다. 낭트의 정비소에 대해 ChatGPT는 오늘 침묵에서 나왔습니다 - 그런데 내놓은 이름은 Bosch Car Service, Norauto, Midas, Feu Vert, Speedy입니다. 전국 체인이지 낭트의 정비소가 아닙니다.

어제의 측정과 앞뒤가 맞습니다. 이 엔진은 동네 가게를 추천하지 않고 범주와 체인으로 안내합니다. 낭트의 독립 정비소에게 'ChatGPT에 없다'는 사실은 별 뜻이 없습니다 - 자기와 같은 처지의 누구도 거기 없으니까요.

이것이 측정에 대해 바꾸는 것

이 불안정함은 우리 도구의 결함이 아니라 대상 자체의 성질입니다. 웹을 검색하는 엔진은 계속 변하는 페이지를 다시 읽고, 그 답도 따라 변합니다. 바로 그래서 우리는 한 번이 아니라 여러 번 재고, 어떤 분산도 '매끄럽게' 다듬지 않습니다. 계열이 곧 정보이지, 지워야 할 잡음이 아닙니다.

그리고 바로 그래서 우리는 누구에게도 ChatGPT에서의 순위를 약속한 적이 없습니다. 하룻밤에 이름의 3분의 1에서 절반이 바뀌는 엔진에서 순위를 약속하는 것은 제비뽑기의 결과를 약속하는 일입니다.

이것을 어떻게 쓸까

• 한 번의 시험으로 결론 내리지 마십시오. '나는 보인다'도, 'AI는 아무도 대지 않는다'도 마찬가지입니다. 아는 것은 그날 아침의 사정뿐입니다.
• 점이 아니라 추세를 보십시오. 다섯 번의 측정 중 세 번 돌아오는 이름이, 한 번 맨 앞에 나타난 이름보다 값집니다.
• 안정된 업종과 흔들리는 업종을 구분하십시오. 치과에서는 목록이 버티고, 정비소에서는 다시 짜입니다. 쓸모 있는 측정 간격이 서로 다릅니다.
• ChatGPT 하나를 잣대로 당신의 존재를 판단하지 마십시오. 우리 여섯 도시에서 이틀 연속으로, 동네 가게는 하나도 불리지 않았습니다.

한계를 적습니다. 여섯 개의 질문, 여섯 도시, 이틀, 엔진마다 모델 하나. 점 두 개로는 곡선이 되지 않고, 두 번의 측정으로 추세를 쟀다고 말하지 않습니다. 다만 이 두 점이 세우는 사실은 단단합니다 - 완전히 같은 질문에 대해, 오늘의 답은 어제의 답이 아니라는 것.