在一座只有一万零二百人的城里,三个 AI 中有两个点得出你家面包店的名字
48 条回答,8 个市镇,从巴黎到一个一万零二百人的次省会。Gemini 和 Perplexity 到处都能点出真实的面包店 - 还带地址。而 ChatGPT 只有在巴黎才不反问。
本月发表的一项研究给需求标上了数字:23 % 的人在最近一次找本地商家时用了 AI 工具,31 % 的人每月至少用一次来要推荐。另一项五月的研究则主张,竞争较薄,小地方反而更容易打进去。
两者都没有回答外省商户真正会问的那个问题:我这座城,是不是小到 AI 根本不认识这里的任何人?
我们也答不上来。我们三项全国研究覆盖 39 座城市,最小的是格勒诺布尔。于是昨夜,我们去客户真正生活的地方做了测量。
做法
八个市镇,梯度从首都一直到圣阿芒-蒙特龙,一万零二百零一人,中间经过南特(33.5 万)、沙特尔(3.8 万)、维埃尔宗(2.4 万)和盖雷(1.28 万)。两个行业 - 面包店与汽修厂 - 好让结论不只挂在面包上。三个助手。问题处处相同,只有市镇在变。
48 条回答,外加对 ChatGPT 的 32 次对照抽取:不重问,就分不清效应和抛硬币。正是这道对照推翻了我们最初的判读,值得说清它纠正了什么。
好消息,而且很干脆
Gemini 和 Perplexity 在任何地方都点得出真实的本地商家,一直到一万零二百人。十二条回答里没有一条不带名字。而且不是泛泛之词:是带地址的店。
圣阿芒-蒙特龙
:Aux 3 Choux、Maison Aveline、Aux Épis d'Or、Au Merle Blanc、La Chaumière、Pâtisserie-Chocolaterie Franck Cosyns。
盖雷
:J&F Boulangerie Pâtisserie,塞纳托勒里大道 - 两个引擎都点了名,地址一致,Perplexity 还注明取自旅行指南 Petit Futé。
也就是说,一座一万人次省会里的店铺,完全点得出名字。「对 AI 来说太小了」这种担心经不起测量 - 前提是你看的是那些会去网上找的引擎。
ChatGPT 是另一回事
在覆盖 8 个市镇的 32 次抽取中,只有一个从未被反问:巴黎。其他所有地方 - 连里昂也算 - ChatGPT 每四次里有一到两次用一个问题代替一份名单:
「您想要盖雷市中心的面包店,还是也包括连锁店?还需要地址和营业时间吗?」
这不是拒绝 - 它从不说自己做不到。它把球扔了回来。对一个赶时间、只想找家面包店的客人来说,结果一样:一个名字都没拿到。
而当 ChatGPT 愿意点名面包店时,数量随城市规模垮下来:巴黎 8 和 8,里昂 6,南特 2,盖雷 2,圣阿芒-蒙特龙 1。
行业比规模更重
是对照显示了这一点,与我们最初的判读相反。在 32 次抽取中:汽修厂 16 次里有 16 次拿到名字。面包店 16 次里只有 6 次。同一个引擎,同一个夜晚,同样的市镇。
换句话说,主导因素不是人口,而是行业。人口 15.6 万的格勒诺布尔的面包店,被反问的频率和维埃尔宗的面包店一样高。
我们没有找到的东西
我们本来在找一种向全国连锁的退让:既然不认识街角的面包师,助手就会去点大品牌。这是个诱人的假设,而在我们的测量里它是错的。被点名者中属于全国连锁的比例,大城市对小市镇:ChatGPT 是 17 % 然后 0 %,Gemini 是 21 % 然后 32 %,Perplexity 是 27 % 然后 28 %。没有清晰的效应。
同样,五月那个「小地方更容易」的说法也只显现了一半。两个会搜索的引擎之间的重合度,在汽修行业从巴黎的 7 % 升到盖雷的 27 %,但在面包店那边是平的。两个行业里只有一个:我们把它记为线索,而不是结论。
周一早上可以做什么
如果你在小市镇,你的渠道是那个会搜索的引擎。
Gemini 和 Perplexity 已经在点你的名。别拿 ChatGPT 来评判自己的可见度,它会向你的客人提问,而不是点你的名。
让你可被点名的,是地址。
点了 J&F Boulangerie 的两个引擎都给了街名。这正是一家店和一个词的区别。
地区性名录在你那儿比在巴黎更重。
Perplexity 为盖雷引用了 Petit Futé。在一个一万两千人的市镇,寥寥几个来源就构成了整份回答 - 所以出现在里面就改变一切。
别因为一次测试失败就认定自己隐形。
我们的测量显示同一家店被三个引擎中的两个点了名。第三个不是在说你不存在:它是在问哪个街区。
局限,以及我们自己的一个方法错误
八个市镇、两个行业、一个夜晚、每个引擎一个模型:这是一次抽样。我们没有逐一核实被点名的店是否存在 - 我们读了回答,没有审计面包店。而与全国研究的对比日期不同,因此不能当作前后对照来用。
最后是一个靠阅读而非机器发现的错误:当撇号是印刷体而不是直体时,我们的拒绝识别会漏掉「je n'ai pas d'accès」。这和昨天漏掉的葡萄牙语虚拟式属于同一族的洞。已修正,并写在这里 - 因为一个隐去已知缺陷的数字,价值不如一个更小但诚实的数字。