「AI에서 1위」 - 그 자리는 지켜진다. 다만 언어마다, 엔진마다 다른 자리가 있다
같은 질문을 다섯 번. 가장 먼저 언급되는 기업은 81 %의 조합에서 그대로입니다. 문제는 안정성이 아니라, 「1위」라는 자리가 하나가 아니라는 점입니다.
81 %
다섯 번의 동일한 실행에서 맨 앞 기업이 바뀌지 않은 조합의 비율
짧은 답: 1위는 꽤 안정적이다. 그리고 바로 그 점이 「우리는 AI에서 1위다」라는 말을 오해하게 만든다. 똑같은 질문을 다섯 번 하면 가장 먼저 언급되는 기업은 81 %의 경우 바뀌지 않는다. 그러나 언어나 엔진을 바꾸면 더 이상 같은 기업이 아니다.
1칸
두 실행 사이 기업이 움직인 순위의 중앙값 - 두 곳 중 하나는 전혀 움직이지 않는다
100
실행, 실패 0건. 4개 분야 × 2개 언어 × 2개 엔진을 다섯 번씩
웹 호스팅에서는 영어·프랑스어·스페인어에서 Hostinger가 앞서고, 독일어에서는 IONOS가 - 두 엔진 모두에서. 결제는 거의 모든 곳에서 Stripe지만, 스페인어 Gemini에서는 Redsys. 호텔 예약에서는 같은 날 같은 언어인데도 Perplexity가 Booking.com을, Gemini가 Google Travel을 앞세운다.
1위라는 자리는 하나가 아니다. 언어마다 엔진마다 하나씩 있으며, 서로 닮으리라는 보장은 어디에도 없다.
무엇을 측정했는가
8월 23일 이후 우리의 모든 측정이 사용해 온 같은 기준 질문을, 조합마다 다섯 번 연속 던졌다. 전 세계적인 4개 분야, 2개 언어, 검색하는 두 어시스턴트. 100회 실행, 실패 0건. 두 실행 사이에 바뀌는 것은 없다 - 분야도, 언어도, 엔진도, 날짜도. 말하는 것은 어시스턴트 자신의 무작위성뿐이다.
정제가 정렬보다 먼저다. 사소한 이야기가 아니다. 우리 추출기는 기업명이 아닌 조각을 여전히 통과시킨다. 그것이 맨 앞에 오면, 엔진이 아니라 우리 쪽이 불안정을 만들어낸다. 그래서 여러 답변에 되풀이 등장하는 이름만 남기고, 그다음에 정렬한다.
1위는 지켜진다
| 지표 | 원자료 | 표기 보정 후 |
|---|---|---|
| 맨 앞 기업이 바뀌지 않는 조합 | 12/16(75 %) | 13/16(81 %) |
| 순위가 전혀 움직이지 않는 기업 | 50 % | 50 % |
| 기업 한 곳의 이동 중앙값 | 1칸 | 1칸 |
| 관측된 최대 이동 | 5칸 | 5칸 |
두 기업 중 하나는 질문을 다시 할 때마다 정확히 같은 순위에 앉는다. 이동의 중앙값은 한 칸이다. 흔히 하는 말과 달리 이 순서는 제비뽑기가 아니다.
우리는 처음에 38 %라는 숫자를 얻었고, 그것은 틀렸다. 「small teams」, 「performance」 같은 조각이 맨 앞을 차지하고 있었기 때문이다. 정렬 전에 정제하면 75 %가 되고, 같은 기업을 가리키는 「hubspot crm」과 「hubspot」을 합치면 81 %가 된다. 공개하려던 불안정성은 우리 자신의 것이었다.
그러나 1위 자리는 여덟 개이지 하나가 아니다
| 분야 | Perplexity | Gemini |
|---|---|---|
| 결제(en·fr) | Stripe | Stripe |
| 호텔 예약(en) | Booking.com | Google Travel |
| 호텔 예약(fr) | Booking.com | Booking.com |
| 웹 호스팅(en·fr) | Hostinger | Hostinger, 영어만 예외 |
| CRM(en) | HubSpot | HubSpot |
| CRM(fr) | 안정된 선두 없음 | 안정된 선두 없음 |
그리고 8월 24일 측정은 더 많은 언어에서 이 표를 연장한다. 독일어에서 가장 먼저 언급되는 호스팅은 Hostinger도 글로벌 사업자도 아닌 IONOS다 - 두 엔진 모두에서. Perplexity는 그것을 「in mehreren Vergleichen auf Platz 1 bzw. Testsieger」라고 못 박는다. 스페인어에서는 Gemini가 결제에 Redsys - 스페인의 은행망 - 를 「muy utilizada en el mercado español」로 떠올린다. 두 기업 모두 다른 언어에서는 보이지 않는다.
독일 호스팅 업체는 독일에서 1위다. 영어로는 존재하지 않는다. 두 문장은 동시에 참이다.
프랑스어 CRM이라는 예외
우리 측정에서 어떤 기업도 1위를 지키지 못한 유일한 조합이다. Gemini에서는 같은 질문의 다섯 번 실행이 세 개의 다른 1위를 낳는다 - Freshsales, HubSpot, monday. Perplexity에서는 Pipedrive가 기업조차 아닌 표기와 번갈아 나타난다.
그곳에는 끌어내릴 왕좌가 없고, 이는 상업적 정보다 - 그 시장에서는 1위 자리가 비어 있다. 다른 곳에서는 - 결제의 Stripe, 영어 호스팅의 Hostinger - 매번 같은 기업이 그 자리를 지킨다.
무엇을 할 것인가
「우리는 ChatGPT에서 1위다」는 거짓이 아니라 불완전한 말이다.
어떤 언어에서, 어떤 엔진에서, 어떤 표현으로 1위인가. 이 셋이 없으면 검증할 수 없다.
한 시장의 1위를 다른 시장으로 옮기지 말 것.
영어에서 선두라도 독일어에 대해서는 아무것도 말해 주지 않는다. 그곳에서는 국내 사업자가 자리를 지킬 수 있고, 두 엔진에서 동시에 지킬 수도 있다.
공격하기 전에 그 자리가 지켜지고 있는지 볼 것.
매번 같은 기업이 돌아온다면 1위는 벽이다. 프랑스어 CRM처럼 매번 바뀐다면 열려 있다.
한 번의 실행으로는 순위가 정해지지 않는다.
절반의 기업은 움직이지 않지만 나머지 절반은 움직인다 - 우리 측정에서는 최대 다섯 칸. 순위는 여러 번의 반복으로 확인하는 것이지 스크린숏으로 확인하는 것이 아니다.
한계
반복 부분은 4개 분야·2개 언어·2개 엔진.
러닝화는 제외했다. 이 분야의 답변은 번호가 붙은 모델명을 인용하고 추출기가 그것을 버리므로, 결과라 할 수 없는 것이 나온다.
독일어와 스페인어로 넓힌 표는 8월 24일 수집분
이며 조합당 한 번의 실행뿐이다. 선두가 언어에 따라 다르다는 것은 보이지만, 그 언어들에서의 안정성은 반복이 없으므로 확립하지 못한다.
우리 추출기는 여전히 불완전하며
, 보정 후에도 한 조합의 선두에 조각이 남아 있다. 하나가 아니라 두 계산을 모두 공개하고, 남은 것을 이름으로 밝힌다.
여기서 「1위」는 답변 본문에서 가장 먼저 언급되었다는 뜻이다.
엔진이 발표하는 순위표가 아니라 열거의 순서일 뿐이다. 우리는 거기에 서열을 매기려는 의도를 읽지 않는다.
우리는 누구에게도 ChatGPT 답변에서의 자리를 약속하지 않는다 - 정직하게 그렇게 할 수 있는 곳은 없다. 측정할 수 있는 것은 언어별, 엔진별, 던져진 질문별로 지금 어디에 있는지다. 그 답이 「그 자리는 이미 찼고, 당신이 생각하는 것과 다른 상대가 차지했다」일 때에도.