Aparecieron 147 nombres, quedaron 28: la mayoría de las citas de la IA son pasajes, no lugares
Tres tiradas idénticas, cinco sectores, dos motores: dos de cada tres nombres citados aparecen una sola vez. Y el valor de una cita depende del motor - una de cada dos se mantiene en Perplexity, una de cada veinte en Gemini.
19 %
de los nombres citados se mantienen en las tres tiradas - 28 de 147
En este artículo
Respuesta corta: ser citado por una IA y tener un lugar en ella son dos cosas distintas, y la distancia se puede medir. Hicimos la misma pregunta tres veces seguidas, en cinco sectores, en dos idiomas, a dos motores. 147 nombres de empresas aparecieron al menos una vez. Solo 28 figuran en las tres tiradas. 98 - dos de cada tres - aparecen una única vez: pasajes, no lugares.
5 nombres
la longitud mediana de una lista de recomendaciones, tras la limpieza
1 de 2 vs 1 de 20
la probabilidad de que una cita sea un lugar estable, en Perplexity vs en Gemini
De 147 nombres aparecidos en tres tiradas, 28 se quedaron. Los 98 que aparecieron una sola vez no eran lugares: pasajes.
Qué medimos
La misma pregunta de referencia de todas nuestras mediciones desde el 23 de agosto - « ¿cuáles son los mejores X? » - formulada tres veces seguidas, de forma idéntica, en cinco sectores globales, en inglés y francés, a Perplexity y a Gemini. 60 tiradas pedidas, 9 fallos de API, 51 aprovechables, recogidas la noche del 29 de agosto.
Para cada combinación sector-idioma-motor contamos tres cosas: la unión (todos los nombres aparecidos al menos una vez), el núcleo (los presentes en las tres tiradas) y la cola (los que aparecieron una sola vez). El núcleo es la única lista sobre la que se puede construir; la cola es azar que ninguna optimización puede apuntar.
Publicamos el bruto y el filtrado juntos. Nuestro extractor aún deja pasar fragmentos que no son nombres de empresa, y cada fragmento inventa un lugar ficticio. Tras la limpieza, una respuesta mediana contiene 5 nombres (8 en bruto) - 7 en Perplexity, 4 en Gemini, 5 en inglés, 4 en francés.
Un motor construye un núcleo, el otro casi no
| Combinación | Nombres aparecidos | Núcleo | Parte del núcleo |
|---|---|---|---|
| Reserva de hotel (en) - Perplexity | 8 | 8 | 100 % |
| Pagos (en) - Perplexity | 8 | 7 | 88 % |
| Pagos (fr) - Perplexity | 9 | 4 | 44 % |
| CRM (en) - Perplexity | 9 | 3 | 33 % |
| Reserva de hotel (en) - Gemini | 13 | 2 | 15 % |
| CRM (en) - Gemini | 13 | 1 | 8 % |
| Pagos (en) - Gemini | 14 | 0 | 0 % |
| Alojamiento web (en) - Gemini | 12 | 0 | 0 % |
Mismo sector, mismo idioma, mismo día: Perplexity en la reserva de hotel devuelve tres veces la misma lista de 8 nombres - un núcleo del 100 %. Gemini en los pagos hace aparecer 14 nombres en tres tiradas y no conserva ninguno de una tirada a la siguiente.
En las siete combinaciones donde ambos motores respondieron, la cuenta es nítida: en Perplexity, 23 de los 47 nombres aparecidos se mantienen en las tres tiradas - uno de cada dos. En Gemini, 3 de 65 - uno de cada veinte. Una « cita de Gemini » y una « cita de Perplexity » no son la misma moneda, y una nota que las suma sin decirlo mezcla oro con fichas.
La combinación mediana no tiene núcleo alguno
La cifra más dura de la medición no es una media: la mediana del núcleo por combinación es cero. Elija una combinación sector-idioma-motor al azar y el caso más probable es que ningún nombre aguante allí tres tiradas, mientras cinco nombres pasan una vez y desaparecen. Ser « recomendado por la IA » un martes no dice casi nada del miércoles.
Tres fallos de recogida se concentran en el lado de Perplexity.
La reserva de hotel en francés y el alojamiento web en ambos idiomas no tienen ninguna tirada de Perplexity (límites de la API). El duelo de motores solo se lee, por tanto, en las siete combinaciones donde ambos respondieron - de ahí salen el 1 de 2 y el 1 de 20.
El sector de zapatillas de running es un fallo nuestro.
Nuestro filtro antirruido descarta etiquetas con cifras - pero los modelos se llaman « Pegasus 41 » o « Clifton 10 ». Las listas de ese sector salen casi vacías tras la limpieza: las vacía el filtro, no los motores. Publicamos el sector tal cual en lugar de retirarlo en silencio.
Tres tiradas, una noche, dos motores: una muestra, no un censo.
Tres tiradas bastan para separar un núcleo de una cola; no bastan para fechar la rotación de los nombres. Y nada dice que la noche o la semana siguiente daría las mismas proporciones.
Qué hacer con esto
Apunte al núcleo, no a la lista.
Un nombre que aparece una vez en tres tiradas no « tiene un lugar en la IA »: pasó por una tirada. Antes de celebrar una cita, pregunte si vuelve.
Pregunte siempre en qué motor.
La misma frase - « le citan » - describe una posición estable al 50 % en Perplexity y una lotería del 5 % en Gemini. Un informe que no nombra el motor no dice nada.
Vuelva a medir, de forma idéntica, en el tiempo.
Es la única manera de distinguir un lugar de un pasaje - una tirada única no puede, por construcción. Exactamente por eso nuestro seguimiento repite la misma pregunta cada 3 días.