构建AI智能体知识库并用我自己的医学检验报告测试它
Iskra公司的一位后端开发人员上传了自己的医学检验报告来测试公司的AI智能体知识库,因为他能立即发现关于自己实验室数据的答案中的错误。该系统采用类似文件系统的方法,包含文档镜像、grep和图形链接,而非经典RAG,这种方法效果不错,但存在一些陷阱,例如智能体会忘记访问知识库。
作者是 Iskra 的后端开发人员,他为 AI 智能体构建了一个知识库,并用自己熟知的体检结果进行了测试,使错误一目了然。该系统的工作原理类似于准备好的文件系统,而非搜索索引:每个文件都附带一个带有 YAML 头部的镜像 .md 文件,智能体通过 ls、grep、read 和链接追踪进行导航。这种方法在多文档回答和来源引用方面优于经典的 RAG,因为智能体会阅读整个文档,而不是分块阅读。然而,智能体有时会忘记访问知识库,比如当它声称没有看到附件,但在重试时却读取了全部七个文件并提供了正确的摘要时。其他问题包括文件重命名怪异(部分标题为拉丁文)、引用中的转述不准确,以及更高的令牌成本——每个复杂查询大约需要 10-15 次工具调用。作者还指出,该系统并非万无一失:模型可以引用来源但仍会产生幻觉,因此服务器端的来源列表至关重要。
来源: Habr — хаб NLP —
原文
