ChatGPT는 지역 업체 목록에 스스로 날짜를 붙인다: 2023년 10월

짧은 답: ChatGPT는 자기 목록이 언제 것인지 자주 말하며, 그것은 오래되었습니다. 6개국 63개 도시의 최고 회계사, 배관업체, 웨딩 사진작가를 묻자 ChatGPT(gpt-4o-mini, API, 웹 검색 없음)는 2,183건 중 354건에서 스스로 답변에 날짜를 붙였습니다. 'as of my last knowledge update in October 2023'. 연도를 밝힐 때는 219건이 2023년, 16건이 2021년이었습니다. Gemini는 2,182건 중 5번, 웹을 검색하는 Perplexity는 한 번도 없습니다. 우리는 이 질문을 2026년 7월부터 10월 사이에 던졌습니다. 엔진 스스로의 말에 따르면, 도시 최고로 내놓는 목록은 약 3년 전에 쓰인 내용을 담고 있습니다.

답은 '도시 최고'라고 말한다. 마지막으로 언제 확인했는지도 말한다.

무엇을 측정했나

영어로 진행한 우리의 모든 연구입니다. 미국(2026년 9월 13일 수집), 영국(7월 31일), 캐나다, 호주, 뉴질랜드, 싱가포르(10월 16일). 같은 구매자 질문('What are the best accountants in Calgary?')을 ChatGPT(gpt-4o-mini)와 Gemini에 API로, 웹 검색 없이, 위치 정보 없이, 나라별 18~20개 업종과 6~13개 도시에 대해 던졌고, 영국 연구는 웹을 검색하는 Perplexity에도 물었습니다. 각 답변에서 답변 자체에 날짜를 붙이는 문장을 찾았습니다. 'as of my last update', 'as of my last knowledge update in October 2023', 'knowledge cutoff', 'based on information available up to October 2023', 'as of 2024' 같은 문장입니다. 탐지기는 먼저 잡아야 할 문장과 그냥 지나쳐야 할 문장('serving the city since 2023', 'established in 2021', 'opened in October 2023'처럼 답변이 아니라 업체의 날짜를 말하는 것)으로 시험했습니다. 연도는 날짜를 붙이는 그 문장 안에서 읽었습니다. '실시간' 추천은 할 수 없다고 말하는 답변도 세었고, 무작위로 25건을 읽었습니다. 25건 모두 그 경고였습니다. 이 경고는 9월 27일 미국 연구만으로 다룬 적이 있습니다.

하나의 모델, 두 개의 날짜, 그리고 3년 전의 목록

ChatGPT는 숨기지 않습니다. 댈러스에서 회계사 목록은 'based on their reputation and services offered as of my last knowledge update in October 2023'으로 제시되고, 시애틀에서 전기 기사들은 'based on information available up to October 2023'으로 나옵니다. 날짜는 일정하지 않습니다. 애들레이드에서는 'due to my knowledge cutoff in October 2021'이라고 쓰고, 캘거리, 브리스틀, 웰링턴에서는 'As of my last knowledge update in October 2021'로 시작합니다. 같은 시기에 질문받은 같은 모델이 2년 차이 나는 두 날짜를 스스로에게 붙입니다. 대부분은 날짜에 대해 아무 말도 하지 않고, 2,183건 중 1,333건(61%)에서는 실시간 추천을 할 수 없다고 말한 뒤 그래도 이름을 댑니다. Gemini는 답변에 날짜를 거의 붙이지 않으며(2,182건 중 5번), 답하기 전에 웹을 읽는 Perplexity는 488건에서 한 번도 그러지 않았습니다. ChatGPT가 대는 날짜는 자기 지식에 대한 스스로의 진술이며, 우리가 확인할 수 있는 것이 아닙니다. 그러나 고객이 이름 옆에서 읽는 것은 그 진술입니다.

당신이 그 업체라면 무엇이 달라지나

2023년 이후에 문을 열었거나, 이전했거나, 이름이나 주인이 바뀐 업체라면, 기억으로 답하는 어시스턴트는 스스로 말하듯 그 업체에 대해 아무것도 읽지 않았습니다. 여기서 두 가지가 나옵니다. 이름을 바꿨다면 새 이름 옆에 옛 이름도 찾을 수 있게 두십시오('구 김앤리 세무회계'). 사이트와 프로필 모두에요. 모델은 옛 이름만 알 수도 있습니다. 그리고 웹을 읽는 엔진이 당신을 찾을 수 있게 하십시오. Perplexity나 검색할 때의 ChatGPT는 읽을 수 있는 페이지를 인용합니다. 그러니 이름, 도시, 하는 일을 자기 페이지에 쉬운 글로 써 두십시오. 그다음 검색을 켜고, 끄고 두 방식으로 질문해 비교하십시오. 어느 것도 이름이 나온다는 것을 보장하지 않습니다.

이것이 증명하지 않는 것

• 이것은 API를 통한 모델의 답변이며, 웹 검색도 사용자 위치도 없습니다. 우리 감사가 묻는 방식입니다. 검색을 켠 ChatGPT는 다르게 답하고 현재 페이지를 읽습니다.
• 날짜는 모델 자신의 진술이며 흔들립니다(2023년 또는 2021년). 우리가 전하는 것은 모델이 말하는 것이지 아는 것이 아닙니다.
• 날짜가 붙은 답변이 낡았다고 증명된 것은 아닙니다. 거명된 업체가 문을 닫았거나 이전했는지는 확인하지 않았습니다.
• 탐지기는 흔한 표현을 잡습니다. 다른 말로 날짜를 붙인 답변은 놓치므로 354건은 하한입니다.
• 수집 기간은 2026년 7월부터 10월까지이며, 질문당 한 번입니다.