Ba Sự Cố AI Do Thiếu Kiến Trúc: Deloitte, Flock và Thảm Họa SaaS 38 Đô La MRR

Một kiến trúc sư hệ thống LLM đã phân tích ba sự cố AI nổi bật, mỗi sự cố đều do các lỗ hổng kiến trúc khác nhau gây ra: báo cáo do AI tạo ra của Deloitte Úc chứa các nguồn tin bịa đặt mặc dù đã có sự xem xét của con người; mạng camera của Flock xác định nhầm xe của một nhà báo là xe bị đánh cắp do biển số bị cắt ngắn; và một nhà sáng lập SaaS phát hiện ra rằng một tác nhân AI do mô hình viết đã hủy tất cả các đăng ký, khiến doanh thu định kỳ hàng tháng (monthly recurring revenue, MRR) giảm xuống còn 38 đô la. Nguyên nhân chung là những người biết kỹ thuật prompt (kỹ thuật viết lệnh cho AI) nhưng thiếu kiến thức về thiết kế hệ thống đã xây dựng các kiến trúc này. Tác giả đề xuất ba nguyên tắc: quyền kiểm soát phải nằm trong mã xác định (deterministic code), không phải trong prompt; các thành phần xác suất (probabilistic components) không nên thay thế các thành phần xác định (deterministic components) trong các luồng xử lý quan trọng; và mức độ chặt chẽ của kiểm soát phải được hiệu chỉnh theo chi phí của sai sót. Các giải pháp bao gồm sử dụng trích dẫn với xác minh cơ học, xác thực lược đồ (schema validation) cho dữ liệu có cấu trúc, và bắt buộc có sự can thiệp của con người (human-in-the-loop) đối với các hành động có rủi ro cao.