¿Cómo se mide qué marcas nombran los asistentes de IA? Hacemos los experimentos, con métricas definidas de antemano, intervalos de confianza y miles de respuestas archivadas, y publicamos lo que encontramos, incluidas las partes incómodas. La metodología de GenSig se basa en estos resultados.
Hicimos las mismas preguntas con intención de compra 2.500 veces en cinco configuraciones de API y 30 veces a mano en las apps de consumo (ChatGPT web, Gemini web). La API del LLM sin búsqueda dejó afuera 3 de las 5 marcas que las sesiones en las apps nombran de forma consistente; temperatura 0 hizo las respuestas muy repetibles, pero con el conjunto de marcas equivocado; y cada API con búsqueda resultó reflejar su propia superficie de consumo.
Cada estudio viene con sus datos crudos y su código: descargá los datos de Research #1 (2.500 respuestas de API + 30 sesiones en apps de consumo, preguntas, diccionario de marcas y código de análisis).
¿Nuevo en visibilidad en IA? Empezá acá: visibilidad de marca en IA: qué es, por qué importa y cómo medirla, y después seguí con la guía práctica de medición.
Vienen más estudios, que replican este en otras categorías y mercados. Preguntas, correcciones y pedidos de replicación: [email protected].