驾驭路由原则:厚薄驾驭、提前拒绝与避免不必要的LLM调用
DeepMind
Anthropic
OpenAI
本文探讨了为AI代理构建驾驭(harness)的架构原则,强调了厚驾驭与薄驾驭之间的选择、对不可执行请求的提前拒绝,以及避免不必要的LLM调用。文中介绍了实体类型和路由管道,以在模型能力与成本之间取得平衡。
本文是关于防护栏(harness)教程的第三部分,重点讨论AI代理系统中的路由问题。文章对比了“厚”防护栏与“薄”防护栏:前者通过添加意图(Intent)、路由(Route)、快捷方式(Shortcut)、能力(Capability)和上下文需求(ContextRequirement)等实体来帮助较弱的模型;后者则依赖强大的模型,并强调能力、工作流(Workflow)、工具契约(ToolContract)、策略(Policy)、审批(Approval)、任务(Task)和追踪(Trace)。文章主张在可能的情况下应使用薄防护栏,但厚防护栏可以在不破坏安全边界的前提下弥补模型的弱点。一个关键原则是尽早拒绝无法执行的请求,具体步骤包括输入规范化、上下文绑定、访问检查、工作流选择和策略门控。文章还强调,在不需要时不要使用大型语言模型(LLM),对于结构化事件或精确命令应使用代码而非模型来处理,以节省资源并减少错误。文章提到,防护栏厚度的选择是根本性的设计问题,厚防护栏可以通过将意图识别任务移交给模型而逐渐“变薄”。
来源: Habr — хаб ИИ —
原文
