
AI说出牙医姓名时,至少五分之一是错的
在16,022段推荐商家的文字中,ChatGPT和Gemini说出商家背后人物的姓名318次。牙医的162个姓名中有33个是错的。
16,022段中的318段
推荐商家的文字说出了背后人物的姓名(2.0%)
简短回答:ChatGPT或Gemini推荐商家时,在16,022段文字中有318段说出了商家背后人物的姓名,即2%:主厨、牙医、律师。主厨的名字站得住脚。牙医则至少五分之一站不住:162个中有33个是占位名字、在不同城市反复使用的名字,或另一座城市的诊所。 同一个牙医的名字在巴黎、里昂、波尔多、图卢兹和尼斯都被推荐为本地诊所。而律师的名字只在一个国家出现:法国,119段中有65段,美国、英国和巴西的702段中为零。
五分之一
作为牙医给出的姓名确定是错的(162个中33个,这是下限)
119段中的65段
关于律师的法国文字说出了一位"Maître"的姓名;其他国家702段中为0
主厨的名字可以核实。牙医的名字,AI有时会编造。
测量了什么
我们在2026年10月7日重读的四项研究:同样的购买者问题,通过API向ChatGPT(gpt-4o-mini)和Gemini提出,不使用网络搜索,地点为美国(2026年9月13日)、英国(7月31日)、法国(7月30日)和巴西(8月6日)。3,600个回答被切分成段落,保留提到商家名称的16,022段。我们在每段中寻找被说成是商家背后之人的姓名:头衔加姓名("Chef …"、"Dr. …"、"Dra. …"、"Maître …"),或表示创办、主理的动词("founded by"、"dirigé par"、"comandado pela chef")。检测器用10个必须识别的表述和8个不能计入的表述做了测试。随后逐段阅读了保留的325段,剔除7段不是人物的(如"Dr. Faz Tudo"这样的加盟品牌名、名为"Dr. Carro"的修车厂)。剩下318段。我们没有逐一核实每个名字,而是统计了确定错误的。
| 行业 | 段落 | 说出人名 | 占比 | 确定错误 |
|---|---|---|---|---|
| 餐厅、面包店和酒店(主厨) | 1,898 | 87 | 4.6% | 7 |
| 牙医 | 720 | 162 | 22.5% | 33 |
| 律师 | 821 | 65 | 7.9% | 5 |
| 其他所有行业(会计、水管、汽修、房产中介、美容美发、代理机构等) | 12,583 | 4 | 0.0% | 0 |
| 合计 | 16,022 | 318 | 2.0% | 45 |
主厨、牙医,以及法国的律师
被点名的人几乎都是主厨、牙医或律师。 餐厅、面包店和酒店在4.6%的段落中说出主厨的名字,都是拥有米其林星级或詹姆斯·比尔德奖的公众人物:巴黎的阿兰·杜卡斯、圣保罗的埃莱娜·里佐、纽约的埃里克·里佩尔等。牙医在22.5%的段落中被点名。律师只在法国被点名:119段中有65段,而美国220段、英国224段、巴西258段中为零,回答说出的是律所名称。Gemini在3.7%的段落中说出人名,ChatGPT为1.0%。
| 国家 | 段落 | 说出牙医姓名 | 占比 | 确定错误 |
|---|---|---|---|---|
| 美国 | 211 | 45 | 21.3% | 7 |
| 英国 | 179 | 3 | 1.7% | 3 |
| 法国 | 59 | 42 | 71.2% | 11 |
| 巴西 | 271 | 72 | 26.6% | 12 |
| 合计 | 720 | 162 | 22.5% | 33 |
五个名字中有一个,确定是错的
在被点名的162位牙医中,33个确定是错的。占位名字:ChatGPT在标题为"Hypothetical"的列表下列出"Dr. Jane Doe, DMD"和"Dr. John Smith, DDS",或只给出名和首字母。反复使用的名字:Gemini把同一个牙医的名字在法国五座城市推荐为本地诊所,并把三位巴西牙医的名字各自推荐到两三座城市。另一座城市:Gemini为英格兰伯明翰给出的三位牙医在美国阿拉巴马州伯明翰执业,所以在英国实际上没有任何牙医被点名。ChatGPT的18个错误中有12个是占位名字,Gemini的27个中有26个是反复使用的名字或城市错误。其余273个名字看似合理但未经核实。我们不刊登相关人员的姓名。
| 错在哪里 | 段落 | 例子 |
|---|---|---|
| 占位名字 | 13 | "Dr. Jane Doe, DMD" / "Hypothetical" / "Dr. Pierre P." |
| 同一个名字出现在多座城市 | 19 | 同一牙医的名字出现在巴黎、里昂、波尔多、图卢兹和尼斯 |
| 另一座城市的商家 | 11 | 阿拉巴马州伯明翰,而不是英格兰伯明翰 |
| 已知错误 | 2 | 回答自己说已去世的律师 |
| 合计 | 45 | ChatGPT 18,Gemini 27 |
如果你是商家,这意味着什么
如果你经营牙科诊所,助手常常用某个人的名字而不是诊所的名字来回答。当你的页面上缺少名字或不清楚时,它可能会填补空白,有时用的是从别的城市搬来的名字。请把每位医生的全名、头衔、专长和所在城市,用同样的写法写在网站、地图信息页和收录你的目录中。如果你经营餐厅,主厨的名字会随着荣誉一起传播。这些都不能保证你被点名。
这项测量不能证明什么
- 这些是模型通过API、不使用网络搜索给出的回答。开启搜索的应用可能会在网上核对名字。
- 273个名字没有逐一核实:"看似合理"不等于"属实"。45个是错误的下限。
- 反复使用的名字只有在我们的样本中再次出现时才能看到。
- 四项研究于2026年7月30日至9月13日收集,每个问题只问一次。
- 我们不刊登个人姓名:例子是模型写的占位名字或公众人物主厨。
常见问题
AI说出的是牙医的名字还是诊所的名字?
诊所应该写什么,才能让AI说出正确的人?
这些数字从哪里来?
每日文章,邮件送达
每天最多一封邮件。一键退订。您的地址仅用于此。 隐私