200건 중 134건이 오답, 표명된 의심은 15번: 인용되는 것은 올바르게 인용되는 것이 아니다

짧은 답: AI의 인용은 당신의 이름을 부르면서 당신에 대해 틀릴 수 있다. 공개된 측정이 다루는 것은 등장 여부가 아니라 귀속된 내용의 정확성이다. 1,600건의 질의를 다룬 연구에서 60%가 넘는 인용이 틀렸고, 3,000건이 넘는 답변을 다룬 다른 연구에서는 31%에 출처 문제가 있었다. 따라서 쓸모 있는 물음은 「인용되었는가」만이 아니다. 「내가 말했다고 된 것이 사실인가, 그리고 그 링크는 어딘가로 이어지는가」이다.

틀리면서 그렇다고 말하는 엔진은 기회를 남긴다. 확신에 차서 틀리는 엔진은 남기지 않는다. 읽는 사람에게 확인할 이유가 없기 때문이다.

두 건의 대규모 연구가 측정한 것

첫 번째는 컬럼비아의 Tow Center for Digital Journalism이 2025년 3월 6일에 발표한 것이다. 절차는 단순하고 재현 가능하다. 스무 곳의 발행사에서 각각 열 편의 기사를 무작위로 뽑고, 발췌문을 그대로 복사한 뒤, 여덟 개의 응답 엔진에 제목, 원 발행사, 날짜, URL을 식별하게 한다. 모두 1,600건의 질의다. 전체적으로 엔진들은 그중 60%가 넘는 질의에 틀린 답을 내놓았다.

두 번째는 더 넓고 공영방송에서 나왔다. 2025년 10월 22일 유럽방송연맹이 BBC와 함께 발표했으며, 직업 기자들이 ChatGPT, Copilot, Gemini, Perplexity의 답변 3,000건 이상을 22개 조직, 18개국, 14개 언어에 걸쳐 평가했다. 핵심 결론은 이 결함이 구조적이라는 것이다. 언어에도, 시장에도, 특정 어시스턴트에도 매이지 않는다.

최악은 오류가 아니라 그 확신이다

Tow Center의 수치 하나는 따로 떼어낼 만하다. 나머지 전부를 좌우하기 때문이다. ChatGPT는 200건 중 134건의 기사를 잘못 식별했고, 확신이 부족하다고 알린 것은 열다섯 번뿐이었다. 오류와 의심은 연동되지 않는다. 세 번 중 두 번 틀리면서, 열세 번에 한 번 그것을 말한다.

이것이 오류를 범할 수 있는 출처와, 오도하는 출처의 차이다. 망설이는 엔진은 읽는 사람에게 신호를, 따라서 확인할 기회를 남긴다. 단언하는 엔진은 아무것도 남기지 않는다. 기업에게 이는 잘못된 인용이 저절로 고쳐지지 않는다는 뜻이다. 답변 안 어디에도 그것을 의심하게 만드는 것이 없기 때문이다.

아무 데도 이어지지 않는 링크

다른 발견은 한층 더 구체적이다. Gemini와 Grok-3 답변의 절반 이상이 지어냈거나 죽은 URL을 가리켰다. Grok-3에서는 200건의 인용 중 154건이 오류 페이지에 도달했다. 이 엔진은 귀속을 잘못하는 데 그치지 않는다. 증거처럼 보이는 주소를 만들어낸다.

EBU 연구는 출처 쪽에서 같은 구조를 서술한다. 한 적 없는 주장을 언론사에 귀속시키고, 다른 주제의 기사나 사라진 페이지로 이어지는 링크를 제시하며, 때로는 매체명과 제목과 날짜까지 갖춘 완전한 인용을 한 번도 나온 적 없는 기사에 붙인다. 형식이 갖춰진 출처 표시가 참된 출처 표시는 아니다.

브랜드에 무엇이 바뀌는가

논리는 그대로 옮겨진다. 어떤 문장을 쓰지 않은 언론사에 귀속시킬 수 있는 엔진이라면, 당신의 논거나 가격이나 전문 분야를 경쟁사에 귀속시킬 수도 있다. 반대로 당신이 한 적 없는 약속을 당신에게 지울 수도 있다. 두 경우 모두 당신은 「인용」되어 있고, 두 경우 모두 인용 수만 세는 계기판은 좋은 소식을 표시한다.

이것이 가시성 점수를 단독으로 볼 때의 한계이며, 우리 것도 예외가 아니다. 등장하는 것은 필요조건이지 결과의 척도가 아니다. 인용은 세 가지 물음으로 읽는다. 우리가 지명되었는가, 우리에게 귀속된 내용이 정확한가, 제시된 링크가 실제로 있는 페이지로 이어지는가.

이것이 바꾸는 것