跳到正文
Waseit
← 全部文章
图片:Atikah Akhtar / Unsplash
AEOGEO

AI说出牙医姓名时,至少五分之一是错的

在16,022段推荐商家的文字中,ChatGPT和Gemini说出商家背后人物的姓名318次。牙医的162个姓名中有33个是错的。

16,022段中的318段

推荐商家的文字说出了背后人物的姓名(2.0%)

Waseit 团队2026年10月7日6 分钟读完
本文目录
  1. 测量了什么
  2. 主厨、牙医,以及法国的律师
  3. 五个名字中有一个,确定是错的
  4. 如果你是商家,这意味着什么
  5. 这项测量不能证明什么

简短回答:ChatGPT或Gemini推荐商家时,在16,022段文字中有318段说出了商家背后人物的姓名,即2%:主厨、牙医、律师。主厨的名字站得住脚。牙医则至少五分之一站不住:162个中有33个是占位名字、在不同城市反复使用的名字,或另一座城市的诊所。 同一个牙医的名字在巴黎、里昂、波尔多、图卢兹和尼斯都被推荐为本地诊所。而律师的名字只在一个国家出现:法国,119段中有65段,美国、英国和巴西的702段中为零。

五分之一

作为牙医给出的姓名确定是错的(162个中33个,这是下限)

119段中的65段

关于律师的法国文字说出了一位"Maître"的姓名;其他国家702段中为0

主厨的名字可以核实。牙医的名字,AI有时会编造。

测量了什么

我们在2026年10月7日重读的四项研究:同样的购买者问题,通过API向ChatGPT(gpt-4o-mini)和Gemini提出,不使用网络搜索,地点为美国(2026年9月13日)、英国(7月31日)、法国(7月30日)和巴西(8月6日)。3,600个回答被切分成段落,保留提到商家名称的16,022段。我们在每段中寻找被说成是商家背后之人的姓名:头衔加姓名("Chef …"、"Dr. …"、"Dra. …"、"Maître …"),或表示创办、主理的动词("founded by"、"dirigé par"、"comandado pela chef")。检测器用10个必须识别的表述和8个不能计入的表述做了测试。随后逐段阅读了保留的325段,剔除7段不是人物的(如"Dr. Faz Tudo"这样的加盟品牌名、名为"Dr. Carro"的修车厂)。剩下318段。我们没有逐一核实每个名字,而是统计了确定错误的。

推荐具名商家的文字、说出背后人物姓名的文字,以及确定错误的姓名(每段均已阅读)。
行业段落说出人名占比确定错误
餐厅、面包店和酒店(主厨)1,898874.6%7
牙医72016222.5%33
律师821657.9%5
其他所有行业(会计、水管、汽修、房产中介、美容美发、代理机构等)12,58340.0%0
合计16,0223182.0%45

主厨、牙医,以及法国的律师

被点名的人几乎都是主厨、牙医或律师。 餐厅、面包店和酒店在4.6%的段落中说出主厨的名字,都是拥有米其林星级或詹姆斯·比尔德奖的公众人物:巴黎的阿兰·杜卡斯、圣保罗的埃莱娜·里佐、纽约的埃里克·里佩尔等。牙医在22.5%的段落中被点名。律师只在法国被点名:119段中有65段,而美国220段、英国224段、巴西258段中为零,回答说出的是律所名称。Gemini在3.7%的段落中说出人名,ChatGPT为1.0%。

牙医:段落、被点名的医生和确定错误的姓名,按国家划分。
国家段落说出牙医姓名占比确定错误
美国2114521.3%7
英国17931.7%3
法国594271.2%11
巴西2717226.6%12
合计72016222.5%33

五个名字中有一个,确定是错的

在被点名的162位牙医中,33个确定是错的。占位名字:ChatGPT在标题为"Hypothetical"的列表下列出"Dr. Jane Doe, DMD"和"Dr. John Smith, DDS",或只给出名和首字母。反复使用的名字:Gemini把同一个牙医的名字在法国五座城市推荐为本地诊所,并把三位巴西牙医的名字各自推荐到两三座城市。另一座城市:Gemini为英格兰伯明翰给出的三位牙医在美国阿拉巴马州伯明翰执业,所以在英国实际上没有任何牙医被点名。ChatGPT的18个错误中有12个是占位名字,Gemini的27个中有26个是反复使用的名字或城市错误。其余273个名字看似合理但未经核实。我们不刊登相关人员的姓名。

确定错误的45个姓名(所有行业)。
错在哪里段落例子
占位名字13"Dr. Jane Doe, DMD" / "Hypothetical" / "Dr. Pierre P."
同一个名字出现在多座城市19同一牙医的名字出现在巴黎、里昂、波尔多、图卢兹和尼斯
另一座城市的商家11阿拉巴马州伯明翰,而不是英格兰伯明翰
已知错误2回答自己说已去世的律师
合计45ChatGPT 18,Gemini 27

如果你是商家,这意味着什么

如果你经营牙科诊所,助手常常用某个人的名字而不是诊所的名字来回答。当你的页面上缺少名字或不清楚时,它可能会填补空白,有时用的是从别的城市搬来的名字。请把每位医生的全名、头衔、专长和所在城市,用同样的写法写在网站、地图信息页和收录你的目录中。如果你经营餐厅,主厨的名字会随着荣誉一起传播。这些都不能保证你被点名。

这项测量不能证明什么

  • 这些是模型通过API、不使用网络搜索给出的回答。开启搜索的应用可能会在网上核对名字。
  • 273个名字没有逐一核实:"看似合理"不等于"属实"。45个是错误的下限。
  • 反复使用的名字只有在我们的样本中再次出现时才能看到。
  • 四项研究于2026年7月30日至9月13日收集,每个问题只问一次。
  • 我们不刊登个人姓名:例子是模型写的占位名字或公众人物主厨。

常见问题

AI说出的是牙医的名字还是诊所的名字?
常常是牙医:在推荐牙医的段落中,22.5%说出了医生的名字,至少五分之一确定是错的(162个中33个)。
诊所应该写什么,才能让AI说出正确的人?
每位医生的全名、头衔、专长和城市,在网站、地图信息页和目录中用同样的写法写出来。这并不保证被点名。
这些数字从哪里来?
来自Waseit的四项研究,于2026年7月30日至9月13日收集:ChatGPT(gpt-4o-mini)和Gemini的3,600个回答,于2026年10月7日重读并逐段核对。

每日文章,邮件送达

每天最多一封邮件。一键退订。您的地址仅用于此。 隐私