147개의 이름이 나타났고 28개가 남았다: AI 인용의 대부분은 자리가 아니라 스쳐 지나감이다

짧은 답: AI에 인용되는 것과 그곳에 자리를 갖는 것은 별개이며, 그 차이는 측정할 수 있다. 같은 질문을 3번 연속으로, 5개 업종, 2개 언어, 2개 엔진에 던졌다. 최소 한 번 나타난 기업명은 147개. 3번 모두에 나타난 것은 28개뿐. 98개 - 3개 중 2개 - 는 정확히 한 번만 등장했다. 자리가 아니라 스쳐 지나감이다.

3회 실행에서 나타난 147개의 이름 중 28개가 남았다. 한 번만 나타난 98개는 자리가 아니었다. 스쳐 지나감이었다.

무엇을 측정했나

8월 23일 이후 모든 측정에서 써 온 동일한 기준 질문 - 「최고의 X는 무엇인가」- 을 3번 연속, 완전히 동일하게, 5개 글로벌 업종에서 영어와 프랑스어로 Perplexity와 Gemini에 던졌다. 요청한 실행 60회, API 오류 9회, 사용 가능 51회. 수집은 8월 29일 저녁.

업종-언어-엔진 조합마다 세 가지를 센다. 합집합(한 번이라도 나타난 모든 이름), 핵(3회 모두에 나타난 이름), 꼬리(정확히 한 번 나타난 이름). 핵만이 쌓아 올릴 수 있는 유일한 목록이고, 꼬리는 어떤 최적화도 겨냥할 수 없는 우연이다.

원본 수치와 정제 수치를 모두 공개한다. 우리의 추출기는 아직 기업명이 아닌 조각을 통과시키고, 조각 하나마다 가짜 자리가 생긴다. 정제 후 답변의 중앙값은 5개(원본은 8개) - Perplexity 7개, Gemini 4개, 영어 5개, 프랑스어 4개.

한 엔진은 핵을 만들고, 다른 엔진은 거의 못 만든다

같은 업종, 같은 언어, 같은 날. 호텔 예약에서 Perplexity는 8개짜리 같은 목록을 세 번 돌려줬다 - 핵 100 %. 결제에서 Gemini는 3회 동안 14개의 이름을 띄우고 하나도 유지하지 않았다.

두 엔진이 모두 답한 7개 조합에서 셈은 분명하다. Perplexity에서는 나타난 47개 중 23개가 3회 모두 유지 - 2개에 1개. Gemini에서는 65개 중 3개 - 20개에 1개. 「Gemini 인용」과 「Perplexity 인용」은 같은 화폐가 아니며, 이를 말없이 합산하는 점수는 금화와 칩을 섞는 셈이다.

중앙값 조합에는 핵이 아예 없다

이 측정에서 가장 냉정한 숫자는 평균이 아니다. 조합별 핵의 중앙값은 0이다. 업종-언어-엔진 조합을 무작위로 고르면, 가장 가능성 높은 경우는 거기서 3회를 버티는 이름이 하나도 없는 것이다. 그 사이 5개의 이름이 한 번 지나가고 사라진다. 화요일에 「AI의 추천을 받았다」는 사실은 수요일에 대해 거의 아무것도 말해 주지 않는다.

이걸로 무엇을 할 것인가