干掉检索增强生成(RAG):六行规则如何取代其作为记忆机制
BAAI
一位人工智能研究员认为,检索增强生成(RAG)作为记忆机制存在根本性缺陷,因为向量相似性并不等于时间上的真实性。他们提出了一条六行规则,优先考虑事实最新未遗忘版本,将时间视为一等实体。该规则在Rust系统中实现,在反事实测试中展现出比采用bge-m3和gemma3的两阶段神经管道更高的准确性。
作者声称已经‘干掉’了RAG作为一种记忆方法,而非作为一种搜索方法,其方式是指出了一种替代:RAG回答‘什么相似’,但不回答‘什么现在是真实的’。以一个人拥有三个职位头衔(工程师、组长、主管)的例子,他们表明向量相似性将所有版本平等对待,导致幻觉。解决方案是一个六行规则,根据时间戳和事实键选择事实的最新非遗忘版本。该规则属于一个Rust系统,包含用于几何(向量点积)、hnsw(近似最近邻)和日志(追加式日志)的模块。该系统还包括‘诚实弃权’:如果最近的知识超过校准阈值(GEOLLM_THRESHOLD),则说‘我不知道’。在MQUAKE-CF(400个反事实案例)的实验中,六行规则优于使用bge-m3编码器和gemma3仲裁器的流程。作者强调,该规则免费提供了四个属性(版本、新鲜度、遗忘、历史视角),第五个属性是弃权。
来源: Habr — хаб ИИ —
原文
