三起由架构缺陷引发的AI事故：德勤、Flock与月经常性收入暴跌至38美元的SaaS灾难

一位大型语言模型系统架构师分析了三起备受关注的AI事故，每起都由不同的架构缺陷引发：德勤澳大利亚公司AI生成的报告虽经人工审核，仍包含捏造的来源；Flock公司的摄像头网络因车牌号截断，误将一名记者的车辆识别为被盗；一位SaaS创始人发现，由模型编写的AI助手取消了所有订阅，导致月经常性收入降至38美元。这些问题的共同根源在于，构建系统的人虽然懂提示工程，但缺乏系统设计能力。作者提出了三项原则：控制必须存在于确定性代码中，而非提示词；概率性组件不应取代关键路径中的确定性组件；控制措施的严格程度必须根据错误成本进行校准。解决方案包括：使用附带机械验证的引用、对结构化数据进行模式验证，以及在高风险操作中强制加入人工审核。