인구 1만 201명의 도시에서, 세 AI 가운데 둘이 당신의 빵집을 이름으로 부릅니다
48개의 답변, 8개 코뮌, 파리에서 인구 1만 201명의 군청 소재지까지. Gemini와 Perplexity는 어디서든 실재하는 빵집을 주소와 함께 댑니다. ChatGPT가 되묻지 않고 답한 곳은 파리뿐이었습니다.
이번 달에 나온 조사가 수요를 숫자로 보여 줍니다. 가장 최근 동네 가게를 찾을 때 AI 도구를 쓴 사람이 23 %, 한 달에 한 번 이상 추천을 물어보는 사람이 31 %입니다. 또 하나, 5월의 조사는 경쟁이 옅은 만큼 작은 지역이 뚫기 더 쉽다고 주장했습니다.
둘 다, 지방 상인이 정말로 품는 질문에는 답하지 않습니다. 우리 동네는 AI가 누군가를 알기에는 너무 작은 걸까?
저희도 답할 수 없었습니다. 세 건의 국가 조사는 39개 도시를 덮지만, 가장 작은 곳이 그르노블입니다. 그래서 오늘 밤, 저희 고객이 실제로 사는 곳에서 측정했습니다.
방법
수도에서 생타망몽롱, 인구 1만 201명까지 여덟 개 코뮌. 그 사이에 낭트(33만 5,634명), 샤르트르(3만 8,209명), 비에르종(2만 4,694명), 게레(1만 2,839명). 업종은 둘 - 빵집과 자동차 정비소 - 결과가 빵에만 걸리지 않도록. 어시스턴트는 셋. 질문은 어디서나 동일하고, 바뀌는 것은 코뮌뿐입니다.
답변 48개에 더해 ChatGPT에 대한 대조 추출 32회. 다시 묻지 않으면 효과와 동전 던지기를 구별할 수 없습니다. 이 대조가 저희의 첫 판독을 뒤집었고, 무엇을 바로잡았는지 말할 가치가 있습니다.
좋은 소식, 그리고 분명합니다
Gemini와 Perplexity는 인구 1만 201명까지, 어디서든 실재하는 동네 업체를 댑니다. 열두 개 답변 가운데 이름 없는 것은 영. 그것도 일반론이 아니라 주소가 붙은 가게입니다.
생타망몽롱
: Aux 3 Choux, Maison Aveline, Aux Épis d'Or, Au Merle Blanc, La Chaumière, Pâtisserie-Chocolaterie Franck Cosyns.
게레
: J&F Boulangerie Pâtisserie, 세나토르리 거리 - 두 엔진이 같은 주소로 언급했고, Perplexity는 여행 안내서 Petit Futé에서 가져왔다고 밝힙니다.
인구 만 명 군청 소재지의 가게도 충분히 이름을 댈 수 있다는 뜻입니다. 「AI에게는 너무 작다」는 두려움은 측정을 견디지 못합니다 - 웹을 찾아보러 가는 엔진을 볼 경우에 한해서.
ChatGPT는 다른 이야기입니다
여덟 코뮌에 걸친 32회 추출 가운데, 되묻는 일이 한 번도 없던 곳은 파리 하나입니다. 나머지는 전부 - 리옹까지 포함해 - 네 번에 한두 번은 목록 대신 질문이 돌아옵니다.
「게레 중심가의 빵집을 원하십니까, 아니면 체인도 포함할까요? 주소와 영업시간도 필요하십니까?」
이것은 거부가 아닙니다. 못 한다고는 결코 말하지 않습니다. 공을 되던질 뿐입니다. 빵집을 찾던 바쁜 손님에게 결과는 같습니다 - 이름을 하나도 얻지 못합니다.
그리고 ChatGPT가 빵집을 대는 데 응할 때, 그 수는 규모와 함께 무너집니다. 파리에서 8과 8, 리옹에서 6, 낭트에서 2, 게레에서 2, 생타망몽롱에서 1.
규모보다 업종이 더 무겁습니다
저희의 첫 판독과 반대로, 이를 보여 준 것은 대조였습니다. 32회 추출에서 정비소는 16번 중 16번 이름을 얻습니다. 빵집은 16번 중 6번. 같은 엔진, 같은 밤, 같은 코뮌.
다시 말해 지배적 요인은 인구가 아니라 업종입니다. 인구 15만 6천의 그르노블 빵집도 비에르종 빵집만큼 자주 질문을 되받습니다.
찾지 못한 것
저희는 전국 체인으로의 후퇴를 찾고 있었습니다. 동네 빵집을 모르니 어시스턴트가 큰 브랜드를 대리라고. 매혹적인 가설이지만, 저희 측정에서는 거짓입니다. 언급된 이름 가운데 전국 체인의 비중, 대도시 대 소규모 코뮌: ChatGPT 17 % 다음 0 %, Gemini 21 % 다음 32 %, Perplexity 27 % 다음 28 %. 뚜렷한 효과 없음.
마찬가지로 5월의 주장 - 작은 지역이 더 쉽다 - 도 절반만 나타납니다. 검색하는 두 엔진의 일치도는 정비소에서 파리 7 %에서 게레 27 %로 오르지만, 빵집에서는 평평합니다. 두 업종 중 하나. 결과가 아니라 단서로 적습니다.
월요일 아침에 할 일
작은 코뮌에 있다면, 당신의 경로는 검색하는 엔진입니다.
Gemini와 Perplexity는 이미 당신을 언급합니다. ChatGPT로 가시성을 판단하지 마십시오 - 당신을 언급하는 대신 손님에게 질문할 테니까요.
당신을 언급 가능하게 만드는 것은 주소입니다.
J&F Boulangerie를 언급한 두 엔진 모두 거리 이름을 댔습니다. 가게와 단어를 가르는 것이 그것입니다.
지역 명부는 파리보다 당신 동네에서 더 무겁습니다.
Perplexity는 게레에 대해 Petit Futé를 인용합니다. 인구 1만 2천의 코뮌에서는 한 줌의 출처가 답변 전체를 만듭니다 - 그러니 거기 실리는 것이 모든 것을 바꿉니다.
시험 한 번 실패했다고 스스로를 보이지 않는 존재로 여기지 마십시오.
저희 측정은 같은 가게가 세 엔진 중 둘에 언급됨을 보여 줍니다. 세 번째는 당신이 없다고 말하는 게 아니라, 어느 동네냐고 묻는 중입니다.
한계, 그리고 저희 자신의 방법 오류
여덟 코뮌, 두 업종, 하룻밤, 엔진당 한 모델. 이것은 표본 조사입니다. 언급된 업체가 실재하는지 하나하나 확인하지 않았습니다 - 답변을 읽었을 뿐, 빵집을 감사하지는 않았습니다. 그리고 국가 조사와의 비교는 날짜가 다르므로 전후 비교로 다루는 것은 금지됩니다.
끝으로, 기계가 아니라 읽다가 찾은 오류 하나. 저희 거부 탐지기는 아포스트로피가 곧은 것이 아니라 활자체일 때 「je n'ai pas d'accès」를 놓쳤습니다. 어제 놓친 포르투갈어 접속법과 같은 계통의 구멍입니다. 고쳤고, 여기에 적습니다. 알려진 결함을 감추고 낸 숫자는 더 작고 정직한 숫자보다 값이 덜하기 때문입니다.