确保AI可见性不可能实现:品牌应改而衡量的指标
OpenAI
Perplexity AI
文章解释了由于语言模型的概率性本质,无法保证人工智能聊天机器人(如ChatGPT)的回复中会包含某个品牌。文章引入了“模型份额”作为衡量品牌可见性的可靠指标,并建议品牌寻找提供可衡量指标的承包商,而非空洞的承诺。
作者从事AI品牌曝光度相关工作,收到了三份商业提案,承诺能在30天内将品牌置于ChatGPT回答的顶部,甚至可指定具体位置。他解释说,此类保证在物理上不可能实现,因为AI模型是以概率方式逐字生成文本的,即使将温度设为0并固定随机种子,服务器计算与批处理中的细微差异也会导致输出不同。此外,现代模型是多个小模型的集成,这又增加了一层不可预测性。AI的回答还同时依赖于模型的训练数据和实时网络搜索,这两者均独立变化,品牌无法控制。相反,作者建议衡量“模型提及份额”,即在不直接提示的情况下,模型中提及某品牌的受控提示词百分比,方法是在内容优化前后运行15-20个真实提示词的样本。他引用2024年Aggarwal等人的研究,该研究表明适当优化可使引用频率增加30-115%。他还提醒警惕承包商中的危险信号,例如承诺特定位置或不同平台统一增长百分比,并建议要求提供可复现的测量结果,而非位置保证。
来源: Habr — хаб NLP —
原文
