MiroFish 中的静默失败:当 AI 社会模拟器收到纯 Lorem Ipsum 时会发生什么
DeepSeek
Anthropic
Google/DeepMind
OpenAI
OpenRouter
一项针对开源多智能体模拟框架 MiroFish 的研究揭示了一个关键缺陷:当输入类似 lorem ipsum 的无意义文本时,流程会静默失败,后端在毫秒内报错,但用户界面超过一小时无任何进展。这一被称为“静默失败”的发现,在两个模型家族中表现一致,表明缺陷在于流程架构,而非模型权重。
一项由计算社会科学研究员对开源多智能体社会模拟栈MiroFish进行的调查,发现了一个被称为“静默失败”的关键缺陷。该研究将包括纯Lorem ipsum在内的缺陷输入加载到了MiroFish-Offline发行版中,该发行版采用了典型的GraphRAG架构,包括Neo4j、一个智能体层以及通过OpenRouter调用的LLMs。在使用DeepSeek和Claude Sonnet 4进行的两次UI运行中,流水线正确地从无意义文本中提取了零个实体,但随后在智能体生成阶段挂起,分别显示了30分钟和70分钟没有进展的“正在生成配置”状态,且没有超时或错误。然而,一项直接观察后端的仪器化运行显示,后端实际上在毫秒内(24至33毫秒)就在智能体阶段端点失败,并返回了诸如“未找到符合标准的实体”之类的清晰错误消息,这与UI表面的冻结相矛盾。这表明系统的UI层未能将后端失败传达给用户,这一设计缺陷独立于所使用的具体AI模型。该研究是三部分系列的一部分,旨在绘制此类流水线在何处默默将无意义内容规范化而不是检测到它,关于荒谬输入(如虚构国家Valdoria)的进一步发现将在后续部分中发布。
来源: Habr — хаб ML —
原文
