Garantizar la visibilidad en IA es imposible: esto es lo que las marcas deberían medir
OpenAI
Perplexity AI
El artículo explica por qué las respuestas de los chatbots de IA, como las de ChatGPT, no pueden garantizar la inclusión de una marca, debido a la naturaleza probabilística de los modelos de lenguaje. Introduce la participación del modelo como una métrica fiable para medir la visibilidad de la marca y aconseja a las marcas buscar contratistas que ofrezcan métricas medibles en lugar de promesas vacías.
El autor, que trabaja en visibilidad de marcas con IA, recibió tres ofertas comerciales que prometían colocar marcas en la cima de las respuestas de ChatGPT, incluso con una posición específica en un plazo de 30 días. Explica que tales garantías son físicamente imposibles porque los modelos de IA generan texto de forma probabilística, palabra por palabra, e incluso con la temperatura ajustada a 0 y una semilla fija, ligeras variaciones en los cálculos del servidor y el procesamiento por lotes conducen a resultados diferentes. Además, los modelos modernos son conjuntos de modelos más pequeños, lo que añade otra capa de imprevisibilidad. Además, las respuestas de IA dependen tanto de los datos de entrenamiento del modelo como de la búsqueda web en vivo, ambos cambian de forma independiente y no pueden ser controlados por una marca. En su lugar, el autor sugiere medir el Share of Model, el porcentaje de prompts controlados donde un modelo menciona una marca sin una pista directa, ejecutando una muestra de 15-20 prompts reales antes y después de la optimización de contenido. Hace referencia a un estudio de 2024 de Aggarwal et al. que mostró un aumento del 30-115% en la frecuencia de citas con una optimización adecuada. También advierte sobre señales de alerta en los contratistas, como prometer posiciones específicas o porcentajes de crecimiento unificados en diferentes plataformas, y aconseja pedir mediciones reproducibles en lugar de garantías de posición.
Fuente: Habr — хаб NLP —
original
