목록에는 올랐습니다. 그다음 손님이 두 번째 질문을 합니다.
18개의 대화, 세 나라, 각각 두 번의 주고받기. 어시스턴트가 하나를 골라야 하는 순간, 세 번에 한 번은 자기 목록에 없던 업체의 이름을 댔습니다.
이 글의 목차
8월 14일, 구글은 검색의 AI 모드 밑에 새 모델을 넣었습니다. 하루 전에 공개된 제미나이 3.7 플래시입니다. 구글 검색의 제품 담당 부사장 로비 스타인은 한 문장으로 알렸는데, 잠시 멈춰 볼 만합니다 - 이 모델은 지시를 더 잘 따르고 의도를 더 잘 이해한다는 것입니다.
실제 대화에서 의도는 첫 질문에 있지 않습니다. 두 번째 질문에서 또렷해집니다. 손님은 「보르도에서 가장 좋은 빵집은」이라고 묻고, 목록을 읽고, 그다음에 정말 알고 싶었던 것을 묻습니다 - 「어디가 진짜 천연발효빵을 하나요」. 고르는 것은 이 차례입니다.
그런데 올해 나온 AI 가시성 측정은 모두 첫 번째 차례에서 멈춥니다. 숫자가 여기저기 인용되는 에어옵스의 보고서 「State of AI Search」 - 한 답변에서 다음 답변까지 남는 브랜드는 30 %, 다섯 번의 시행을 통틀어서는 20 % - 도 같은 질문을 여러 번 되풀이한 것입니다. 대화를 재는 사람은 없습니다. 오늘 아침 저희가 쟀습니다.
방법
여섯 사례, 세 나라입니다. 리옹의 배관공, 보르도의 빵집, 파리의 노동법 변호사, 맨체스터의 배관공, 브리스톨의 빵집, 상파울루의 배관공. 각각 같은 대화 안에서 두 차례를 주고받았습니다. 목록을 묻는 질문, 그 답을 대화 기록에 되돌려 넣고, 이어서 결정을 내려야 하는 손님의 질문을 「이름은 하나만 말해 줘」라는 지시와 함께. 어시스턴트는 셋 - ChatGPT, 제미나이, 퍼플렉시티 - 이니 18개의 대화입니다. 이름은 모두 손으로 다시 셌습니다.
ChatGPT는 고르지 않습니다. 어디에 있느냐고 묻습니다.
두 번째 차례에서 ChatGPT가 업체 이름을 댄 것은 여섯 번 중 영 번이었습니다. 여섯 번 중 다섯 번은 되묻습니다.
- 「동네나 우편번호를 알려 주면 오늘 가능한 가장 좋은 연락처를 주겠다」 - 리옹의 누수.
- 「보르도 어느 동네에 있느냐」 - 천연발효빵.
- 「당신은 근로자입니까, 사용자입니까」 - 파리의 해고.
- 「Do you mean Manchester, UK or Manchester, NH?」, 이어서 「Do you mean Bristol, UK?」 - 어느 도시 이야기인지조차 모릅니다.
여섯 번째, 상파울루에서는 이름을 하나 댔습니다. Triider - 기술자를 연결해 주는 플랫폼이지, 기술자가 아닙니다.
세계에서 가장 많이 쓰이는 어시스턴트는, 손님이 골라야 하는 바로 그 순간에 아무도 가리키지 않습니다. 우편번호를 묻습니다.
목록에 오르는 것이 결승 진출은 아닙니다
퍼플렉시티는 결정합니다. 여섯 번 중 여섯 번 이름을 하나만 댔습니다. 그런데 여섯 번 중 세 번, 그 이름은 자기가 첫 차례에 내놓은 목록에 없었습니다.
리옹.
첫 차례: Bilik, Les Bons Artisans, RingTwice, Yoojo, Travaux.com. 두 번째 차례: Accord Artisans - 그전에 한 번도 나오지 않았습니다.
맨체스터.
첫 차례: Bee Heated MCR, AJ & RC Plumbing, SR Plumbing, JB Plumbing, About Town Plumbing. 두 번째 차례: Kang Plumbing - 그전에 한 번도 나오지 않았습니다.
상파울루.
첫 차례: Triider, GetNinjas, oHub, Encanador 24 Horas, Play Tec. 두 번째 차례: Assisty 24h - 그전에 한 번도 나오지 않았습니다.
목록을 깨뜨리는 것 - 급한 사정
갈리는 방식이 깔끔하고, 우연이 아닙니다. 저희의 두 번째 질문 여섯 개는 두 갈래로 나뉩니다. 셋은 지금 올 수 있느냐를 묻습니다 - 오늘 안에 누가 와야 한다. 셋은 품질을 묻습니다 - 진짜 천연발효, proper sourdough, 해고를 다투는 일.
지금 올 수 있느냐를 물은 셋은 모두 새 이름을 불러냈습니다. 품질을 물은 셋은 모두 목록의 이름을 지켰습니다 - 보르도의 Maison Lamour, 브리스톨의 Hart's Bakery, 파리의 Kohen Avocats.
게다가 이유는 엔진이 직접 씁니다. Accord Artisans에 대해 - 「리옹에서 30분 출동, 하루 24시간 주 7일이라고 알린다」. Kang Plumbing에 대해 - 「listed as open 24/7 in Manchester and says it offers immediate assistance」. 이 차례를 이기게 하는 것은 평판이 아닙니다. 어딘가에 적힌 한 문장, 지금 연락이 닿는다고 말하는 문장입니다.
제미나이는 자기 목록에서 고릅니다 - 변호사만 빼고
제미나이가 업체 이름을 댄 것은 여섯 번 중 세 번이고, 그때마다 자기 목록의 이름이었습니다. 리옹의 Blicko, 보르도의 Le Blé en Herbe, 브리스톨의 Farro Bakery. 나머지 세 번은 다른 곳으로 넘겼습니다 - 맨체스터에서는 수도 사업자 United Utilities와 업체 명부 Checkatrade로, 상파울루에서는 플랫폼 GetNinjas로.
파리에서는 거절했고, 그렇게 분명히 적었습니다. 중립 규칙을 따르고 있어 어떤 전문가를 다른 전문가보다 앞세워 지목할 수 없다는 것입니다. 규제 직군에서는 두 번째 차례에 승자가 아예 없을 수도 있습니다.
저희가 버린 숫자가 하나 있습니다
자동 추출은 처음에 엔진별로 0 %, 19 %, 50 %의 생존율을 알렸습니다. 공표하지 않습니다. 틀렸기 때문입니다. 목록을 다시 읽어 보면 세어 놓은 「업체」 가운데 일부는 업체가 아닙니다 - 추출이 고유명사로 착각한 조언 문장이었습니다. 「입소문이 여전히 최고다」, 「등록번호를 확인하라」, 「Red flags」, 「Dica de emergência」.
이것은 저희 도구에 난 구멍이고, 지난주에 연 문자 체계에만 해당하는 이야기가 아닙니다. 어시스턴트가 조언을 굵게 쓰는 순간 프랑스어에서도 영어에서도 똑같이 열립니다. 여기에 적는 이유는, 보기 좋은 백분율을 내놓는 것보다 결함에 이름을 붙이는 편이 쓸모 있기 때문입니다. 이 글의 아홉 개 이름은 하나씩 손으로 확인했습니다.
월요일 아침에 할 일
언제 일할 수 있는지 문장으로 다 쓰십시오.
홈페이지에도, 각종 등록란에도 - 영업시간, 영업일, 담당 지역, 출동까지 걸리는 시간. 엔진이 뜻밖의 세 선택을 정당화하며 인용한 것이 바로 그 문장이었습니다.
주소와 동네를 쓰십시오.
ChatGPT가 두 번째 차례에 던진 여섯 질문 가운데 다섯이 장소에 관한 것이었습니다. 당신이 어디 있는지 모르는 어시스턴트는 당신을 고를 수 없습니다.
첫 답변만 재지 마십시오.
거기 오른다고 결승이 보장되지는 않습니다. 관찰된 선택의 3분의 1은 다른 데서 왔습니다.
규제 직군이라면
- 변호사, 의사, 회계사 - 이름 대기를 거절당할 것을 예상하십시오. 그때 힘을 쓰는 것은 어시스턴트가 대신 가리키는 공식 명부입니다.
늘 그렇듯 한계를 밝힙니다. 여기서는 그 한계가 중요합니다. 여섯 사례, 세 나라, 사례마다 두 번째 질문 하나, 엔진마다 한 모델, 하루 아침. 급한 사정과 품질로 갈린 결과는 양쪽 각각 세 사례에 기대고 있습니다 - 엔진 자신이 인용한, 앞뒤가 맞는 작동 방식이지만 법칙은 아닙니다. 단단한 것은 한 문장입니다. 첫 차례의 목록은 후보 압축이 아닙니다.