인용된 출처가 정말 추천의 근거일까 - 128건을 하나씩 확인했습니다
AI가 참고했다고 밝힌 페이지를 실제로 읽고 추천된 브랜드가 있는지 확인했습니다. 128건 중 128건. 각 브랜드를 언급한 페이지는 중앙값 6개였습니다.
짧은 답: 그렇습니다. Perplexity가 추천한 128개 기업 가운데 128개 모두가, 이 엔진이 참고했다고 밝힌 페이지 중 최소 한 곳에 등장했습니다. 검토한 12개 출처 중 중앙값 6개 페이지가 해당 브랜드를 언급합니다. 인용은 장식이 아니라 실제로 답을 떠받치고 있습니다.
이 글이 있는 이유는 어제 글이 우리가 직접 쓴 단서로 끝났기 때문입니다 - 「우리가 측정한 것은 읽힌 것이지 설득한 것이 아니다」. 인용된 페이지가 반드시 어떤 이름을 목록에 올린 그 페이지는 아닙니다. 자기 단서를 재워두면 그것은 문장을 꾸미는 장치로 전락합니다. 결론지을 수 있는 문제였기에 결론지었습니다.
출처가 추천을 설명하지 않는다면, 사흘간 「어디에서 인용되어야 하는가」에 대해 쓴 모든 것이 근거 없는 조언이 됩니다. 이런 검증은 남이 아니라 자신에게 해야 합니다.
정확히 무엇을 측정했는가
8월 24일에 수집한 답변에서 출발합니다 - 전 세계적인 5개 분야, 질문에 어떤 나라도 언급하지 않습니다. 각 답변마다 두 가지가 있습니다. 본문, 즉 추천된 기업들, 그리고 인용된 URL입니다. 남은 일은 그 페이지들을 읽고 추천된 이름이 거기 있는지 보는 것뿐입니다.
모든 것을 좌우하는 함정이 있고, 그것은 가혹합니다. 읽지 못한 페이지 - 접근 거부, 시간 초과, 자바스크립트로 구성되는 내용 - 가 있으면, 실제로는 근거가 있는 브랜드가 「근거 없음」으로 보이게 됩니다. 그렇게 되면 이 글에서 가장 자극적인 결과를 우리 자신의 수집 실패로 지어내는 셈입니다. 그래서 세 가지 상태로 분류했습니다. 두 가지가 아닙니다.
| 상태 | 의미 |
|---|---|
| 근거 있음 | 인용 페이지 중 최소 한 곳에 브랜드가 등장 |
| 근거 없음 | 인용 페이지를 모두 읽었고, 브랜드가 없음 |
| 판정 불가 | 인용 페이지 중 최소 한 곳을 읽지 못함 |
공개하는 비율은 판정된 사례만으로 계산하며, 판정 불가 비율은 나란히 공개합니다 - 인용된 300개 페이지 중 254개를 읽었고, 85 %입니다. 우리는 로봇임을 밝히며 브라우저인 척하지 않습니다. 로봇을 거부하는 사이트는 우리를 거부할 권리가 있고, 그것은 「읽지 못함」이지 사실이 아닙니다.
결과
| 판정 | 건수 |
|---|---|
| 인용 페이지 1곳 이상에서 근거 확인 | 128 |
| 근거 없음 | 0 |
| 판정 불가(페이지를 읽지 못함) | 6 |
| 판정된 사례에서의 비율 | 100 % |
게다가 근거는 얄팍하지 않습니다. 추천된 브랜드의 중앙값은 검토한 12개 페이지 중 6개에 등장하며, 평균은 5.9입니다. 어휘의 우연한 일치가 아니라 수렴입니다.
단 한 페이지에 걸려 있는 9 %
128건 중 11건의 브랜드는 인용 페이지 「단 하나」에만 근거를 두고 있었습니다. 이 측정에서 가장 실행에 직결되는 숫자이며, 두 방향으로 읽힙니다.
지렛대로서: 그 경우 단 한 페이지로 이름이 답변에 들어갔습니다. 국내 비교 사이트 하나, 업계 매체 기사 하나, 현지 플랫폼의 글 하나 - 한 페이지면 그 기업은 어시스턴트에게 존재합니다. 출처 전략이 주문이 아니라 구체적인 일이 됩니다.
취약함으로서: 한 페이지에만 인용되어 있다면, 당신의 존재는 그 페이지에 달려 있습니다. 그 페이지의 순위가 바뀌거나, 사라지거나, 더는 읽히지 않으면 - 당신 쪽에서는 아무것도 변하지 않았는데 답변에서 사라집니다.
이 결과가 말하게 해주는 것과, 해주지 않는 것
말하게 해주는 것은 출처 목록이 진짜 지렛대라는 사실입니다. 추천은 실제로 엔진이 읽은 것에 의해 떠받쳐지고, 게다가 - 이것이 전날의 측정이었습니다 - 그 페이지들은 국가별이고, 수가 적으며, 분야와 언어별로 특정할 수 있습니다. 그렇다면 거기에 실리려는 노력은 증상이 아니라 원인에 작용합니다.
말하게 해주지 않는 것은 페이지에 실리면 추천된다는 것입니다. 우리가 보인 것은 「모든 추천은 출처에 근거한다」이지, 「모든 출처가 추천을 낳는다」가 아닙니다. 인용된 페이지들은 엔진이 채택하는 것보다 훨씬 많은 기업을 언급합니다. 거기 있는 것은 조건이지 통행증이 아닙니다.
모든 추천은 읽힌 페이지에 근거한다. 읽힌 모든 페이지가 추천을 낳지는 않는다. 이 둘을 뒤섞으면 그것은 헛된 꿈을 파는 일입니다.
발견된 결함은 상대편이 아니라 우리 쪽에 있었습니다
같은 측정이 우리 도구의 문제를 드러냈습니다. 이름 추출기가 200개 항목을 반환했는데, 그중 66개, 즉 3분의 1은 기업명이 아니었습니다 - `Best overall: HubSpot CRM[2][3][4][6]`처럼 인용 표시가 들러붙은 순위 제목이거나, 조언의 서두(「대부분의 사람에게는」)였습니다.
그래서 이 66개를 계산 전에 걷어냈고, 이 글이 200이 아니라 128개 브랜드를 말하는 이유가 그것입니다. 중요한 점은, 원자료 측정에서 「근거 없음」으로 나온 5건이 전부 이런 종류의 부산물이었다는 것입니다 - 근거 없는 추천은 하나도 없었습니다. 수정은 대기 중입니다. 여기서 밝히는 이유는, 정제 과정을 숨긴 숫자는 숫자가 아니기 때문입니다.
한계
엔진은 하나뿐.
쓸 수 있는 URL을 반환하는 것은 셋 중 Perplexity뿐입니다. Gemini는 자기 URL을 리디렉션 뒤에 감추고, API로 호출한 ChatGPT는 아예 검색하지 않습니다. 이 결과는 「검색하는 엔진」에 대한 것이지 「AI 일반」에 대한 것이 아닙니다.
5개 언어만.
영어, 프랑스어, 포르투갈어, 스페인어, 독일어 - 우리 이름 추출기가 검증된 언어들입니다. 일본어, 한국어, 폴란드어, 아랍어에서는 여전히 섹션 제목을 반환합니다. 이름을 틀리는 추출기로 인용의 정확성을 측정하면, 잡음을 결과로 내놓게 됩니다.
단 하루
이며, 어시스턴트는 결정론적이지 않습니다. 같은 영어 프롬프트를 두 번 실행해도 겹침은 62-76 %입니다.
존재는 인과가 아닙니다.
이름이 인용 페이지에 있다는 것이, 그 페이지가 결정했다는 증명은 아닙니다. 어제의 질문을 좁힌 것이지 해소한 것이 아닙니다.
우리는 누구에게도 ChatGPT 답변에서의 자리를 약속하지 않습니다 - 정직하게 그렇게 할 수 있는 곳은 없습니다. 측정할 수 있는 것은 언어별·엔진별로 지금 어디에 있는지, 그리고 그 위치가 어떤 페이지에 근거하는지입니다.