
同一需求换个说法再问,助手换掉了大半份名单
同一个助手、同一座城市、同一个行业,需求用两种说法提问。ChatGPT 只保留了它刚刚说出的企业中的 16% 到 29%。
四分之一
换一种说法后,ChatGPT 没有保留任何一家刚刚说出的企业的比例(宽松匹配;严格匹配下为二分之一)
简短回答:先问 ChatGPT 你所在城市最好的水管工,再问你所在城市最受推荐的水管工。需求相同,名单不同。在 682 对回答中,它只保留了刚刚说出的企业的 16% 到 29%,而在四分之一到一半的情况下一家都没有留下。
你想知道 AI 会不会推荐你。这个问题预设了存在一份名单,以及名单里的一个位置。我们的测量说的是另一回事:存在的是一条回答,而它黏在被敲进去的那句话上。不改需求、只改句子,同一个助手在同一天、对同一座城市和同一个行业,大部分会换成别的企业来回答。只有一个助手例外 - 正是真的去网上搜索的那一个。
3,729
比较的回答对:同一助手、同一城市、同一行业,需求用两种说法提出
30% 到 35%
唯一上网搜索的 Perplexity 把同一家企业重新放在首位的比例;ChatGPT 为 11% 到 19%,Gemini 为 6% 到 11%
名单里的一个位置不是排名。它是对一句话的回答。
测了什么
Waseit 的八项研究在每座城市、每个行业都用两种说法提出同一需求:「{城市}最好的{行业}有哪些?」,以及「列出{城市}最受推荐的{行业}并说明理由」。此前我们比较的是不同助手之间。这一次,我们把每个助手和它自己的两条回答相比。我们保留了两条回答都至少说出一家企业的那些对:3,729 对,8 个国家,89 座城市,148 个国家与行业的组合,采集时间为 2026 年 7 月 31 日至 10 月 16 日,每次都用所在国家的语言。为了把三个助手互相比较,我们只取三者都作答的法国、英国和巴西:2,044 对,每个助手约 681 对。
匹配企业名称没有显而易见的规则:「Poilâne」和「Boulangerie Poilâne」是同一家店,「Table de l'Ours」和「Table de l'Olivier」则不是。所以我们给出两个界限,而不是一个数字。严格界限只匹配规范化后完全相同的名称,会低估被保留的部分。宽松界限只要共享一个有辨识度的词就匹配,并排除行业词和城市名,它是故意匹配过头的。真相在两者之间,我们只发表在两种界限下都成立的结论。
| 助手 | 对数 | 保留自己的名单 | 没有共同企业 | 同一家企业居首 |
|---|---|---|---|---|
| Perplexity(上网搜索过) | 680 | 37% 到 50% | 4% 到 12% | 30% 到 35% |
| ChatGPT | 682 | 16% 到 29% | 25% 到 49% | 11% 到 19% |
| Gemini | 682 | 12% 到 28% | 23% 到 52% | 6% 到 11% |
问题换个说法后,名单还剩下什么
大部分都走了。ChatGPT 保留第一条回答中企业的 16% 到 29%,Gemini 为 12% 到 28%。换句话说,在不改变意思、只改变句子的情况下,大约四分之三的名单发生了更换。而且常常什么都不剩:ChatGPT 在宽松匹配下是四次换说法中的一次,在严格匹配下是两次中的一次。被放在首位的企业更站不住:ChatGPT 把它留在那里的只有 11% 到 19% 的对数,Gemini 为 6% 到 11%。
有一个助手明显拉开距离,而且在两种匹配下都是同一个:Perplexity 保留自己名单的 37% 到 50%,把同一家企业放回首位的频率是 Gemini 的三倍。它也是三者中唯一在回答前真正抓取了网页的助手;ChatGPT 和 Gemini 是通过各自的编程接口查询的,没有搜索。至于 ChatGPT 和 Gemini 之间,差距挺不过匹配规则的改变(宽松匹配下是 29% 对 28%):我们不分高下。
| 实际问出的话 | |
|---|---|
| 第一种说法 | 「{城市}最好的{行业}有哪些?给我一份带推荐的名单。」 |
| 第二种说法 | 「列出{城市}最受推荐的{行业}并说明理由。」 |
| 比较的对数 | 3,729 对,其中 2,044 对来自三个助手都作答的三个国家 |
| 覆盖 | 8 个国家,89 座城市,148 个国家与行业的组合 |
如果你就是那家企业,这意味着什么
一次查验什么也证明不了。如果你在 ChatGPT 里输入一次你的行业和城市,看到了自己的名字,你知道的是一件真实但很窄的事:那句话,在那一天,让你出现了。旁边那句话,对你的客户来说意思一样,却可能把你排除在外。所以要测的不是一个位置,而是一个频率,跨越多种提问方式。这也解释了那位信誓旦旦说自己「总是排第一」的同行:他记住的是能让他出现的那种说法。我们此前展示过两个助手很少给出相同答案;同一个助手问两次,同样不会对自己给出相同的答案。
那么你的企业,助手会怎么说
这正是 Waseit 免费审计所做的:它不问一个问题,而是问八个,都是你的客户真正会敲进去的问题,用他们的语言、针对你的城市,分别问 ChatGPT 和 Gemini,再加上一项知名度测试,把「AI 不认识你」和「AI 认识你却不推荐你」区分开。大约 60 秒内,你会看到一个百分制评分、被放在你位置上的竞争对手、你没有出现的那些问题,以及哪个助手是真的上网搜索而不是凭记忆作答。免费,无需账号,无需银行卡;一个邮箱地址解锁的只是竞争对手的名字和行动计划。这是一张带日期的照片,不是排行榜 - 本文讲的恰恰是回答有多会变动,我们不承诺任何位置。
这并不能证明什么
- 匹配企业名称没有唯一规则,所以我们给出两个界限。宽松的那个是故意匹配过头的:它因为共用一个词就把「Table de l'Ours」和「Table de l'Olivier」合在一起。严格的那个则把「Poilâne」和「Boulangerie Poilâne」分开。真实数字在两者之间,我们只保留了在两种情况下都成立的结论。
- 在宽松匹配下,ChatGPT 和 Gemini 相差一个百分点:我们不分高下,本文也不说这两者谁更稳定。在两个界限下都站得住的,只有 Perplexity 与另外两者的差距。
- 我们保存的回答只留下最先说出的八家企业。因此我们比较的是短名单,而不是助手本可以列出的全部:两条回答可能共享一个我们永远看不到的第九个名字。
- 只有两种说法,各问一次,来自 2026 年 7 月 31 日至 10 月 16 日的单次采集。这不是对逐日变化的测量,那是另一个问题。
- 在这次采集中,Perplexity 只在法国、英国和巴西作答,因此三个助手之间的比较仅限于这些国家。而它上网搜索这一点与它的稳定性同时出现,我们并未证明这是原因。
- 我们数的是名字的更换,不是错误。这里没有说两份名单中哪一份更好,也没有说哪一份更符合真正服务该城市的企业。名称的自动抽取也可能把一个标准或一个平台当成企业,我们过去几期测量过。
常见问题
如果助手提到过我的企业一次,是不是说明我排得不错?
为什么两条回答差别这么大?
怎么知道助手有没有提到我的企业?
这些数字从哪里来?
每日文章,邮件送达
每天最多一封邮件。一键退订。您的地址仅用于此。 隐私