
ChatGPT给自己的本地商家名单标注日期:2023年10月
在2,183个关于本地商家的回答中,ChatGPT有354个给自己的名单标注了日期,多为2023年10月。Gemini只有5次,Perplexity从未有过。
2,183个中354个
ChatGPT关于本地商家的回答中给自己的名单标注日期的数量
简短回答:ChatGPT常常会说出自己的名单是什么时候的,而且它很旧。问及六个国家63座城市最好的会计师、水管工或婚礼摄影师时,ChatGPT(gpt-4o-mini,通过API,不开网页搜索)在2,183个回答中有354个给自己的回答标注了日期:“as of my last knowledge update in October 2023”。给出年份时,219个是2023年,16个是2021年。Gemini在2,182个回答中只标注了5次;会搜索网页的Perplexity从未标注。 我们在2026年7月到10月之间提出这些问题。按引擎自己的说法,它当作本城最佳给出的名单,描述的是大约三年前写下的内容。
219比16
标注日期的回答中写2023年与写2021年的数量:同一个模型,同一段时间
2,182个中5个
给自己标注日期的Gemini回答;Perplexity为488个中0个
回答说“本城最好”。它也说了自己上次查看是什么时候。
测量了什么
我们所有用英语进行的研究:美国(2026年9月13日采集)、英国(7月31日),以及加拿大、澳大利亚、新西兰和新加坡(10月16日)。同样的购买者问题(“What are the best accountants in Calgary?”)通过API提给ChatGPT(gpt-4o-mini)和Gemini,不开网页搜索,不带位置,每个国家覆盖18到20个行业、6到13座城市;英国研究还询问了会搜索网页的Perplexity。在每个回答中,我们寻找给回答本身标注日期的句子:“as of my last update”“as of my last knowledge update in October 2023”“knowledge cutoff”“based on information available up to October 2023”“as of 2024”。检测器先用应当识别的句子和应当放过的句子测试过,例如“serving the city since 2023”“established in 2021”“opened in October 2023”,这些标注的是商家的日期,而不是回答的日期。年份从标注日期的那句话里读取。我们也统计了声称无法给出“实时”推荐的回答,并随机读了其中25个:25个都是这句提示。9月27日我们曾只在美国研究中考察过这句提示。
| 研究(采集日期) | ChatGPT:标注日期 | ChatGPT:回答 | Gemini:标注日期 | Gemini:回答 |
|---|---|---|---|---|
| 美国(9月13日) | 79 | 436 | 1 | 436 |
| 英国(7月31日) | 78 | 488 | 3 | 488 |
| 加拿大(10月16日) | 64 | 367 | 0 | 366 |
| 澳大利亚(10月16日) | 56 | 340 | 0 | 340 |
| 新西兰(10月16日) | 28 | 212 | 1 | 212 |
| 新加坡(10月16日) | 49 | 340 | 0 | 340 |
一个模型,两个日期,一份三年前的名单
ChatGPT并不隐瞒。在达拉斯,它的会计师名单是“based on their reputation and services offered as of my last knowledge update in October 2023”;在西雅图,它的电工名单来自“based on information available up to October 2023”。 日期并不稳定:在阿德莱德它写“due to my knowledge cutoff in October 2021”,在卡尔加里、布里斯托尔和惠灵顿它以“As of my last knowledge update in October 2021”开头。同一个模型,在同一段时间被提问,给自己标了相隔两年的两个日期。多数时候它对日期只字不提;在它的2,183个回答中有1,333个(61%)说无法给出实时推荐,然后照样给出名字。Gemini几乎从不标注日期(2,182个中5次),回答前先读网页的Perplexity在488个回答中一次也没有。ChatGPT给出的日期是它对自身知识的自述,不是我们能核实的事实。但顾客在名字旁边读到的,正是这句自述。
| 标注日期句中的年份 | 回答数 |
|---|---|
| 2023年 | 219 |
| 2021年 | 16 |
| 无年份(“as of my last update”) | 119 |
如果你是那家企业,这意味着什么
如果您的商家是2023年以后开业、搬迁、改名或易主的,一个凭记忆回答的助手,按它自己的说法,从未读到过关于您的任何内容。由此有两点。如果您改过名,请在网站和各平台资料上让旧名与新名并列可查(“原 李氏会计事务所”),因为模型可能只认识旧名。并且要确保会读网页的引擎能找到您:Perplexity或开启搜索的ChatGPT会引用它们读得到的页面,所以名称、城市和业务内容应当以平实文字写在您自己的页面上。然后分别在开启和关闭搜索的情况下提问,比较结果。这些都不能保证被点名。
这不能证明什么
- 这些是模型通过API给出的回答,没有网页搜索,也没有用户位置:这是我们的审计提问的方式。开启搜索的ChatGPT会给出不同的回答,并读取当前的网页。
- 日期是模型自己的说法,而且前后不一(2023年或2021年)。我们报告的是它说了什么,而不是它知道什么。
- 标注了日期的回答并不等于已被证明过时:我们没有核查它点名的商家是否已关门或搬迁。
- 检测器能识别常见说法;用别的措辞标注日期的回答会被漏掉,因此354是下限。
- 采集时间为2026年7月至10月,每个问题一次。
常见问题
ChatGPT知道最近开业的商家吗?
Gemini和Perplexity也这样吗?
2023年以后开业或改名的商家该怎么做?
这些数字从何而来?
每日文章,邮件送达
每天最多一封邮件。一键退订。您的地址仅用于此。 隐私