Lỗi Thầm Lặng trong MiroFish: Điều Gì Xảy Ra Khi Trình Mô Phỏng Xã Hội Trí Tuệ Nhân Tạo Nhận Dữ Liệu Lorem Ipsum Thuần Túy
DeepSeek
Anthropic
Google/DeepMind
OpenAI
OpenRouter
Một nghiên cứu về bộ công cụ mô phỏng đa tác tử mã nguồn mở MiroFish đã phát hiện ra một lỗ hổng nghiêm trọng: khi được cấp dữ liệu vô nghĩa như lorem ipsum, quy trình xử lý sẽ thất bại một cách thầm lặng, với phần phụ trợ (backend) báo lỗi trong vài mili giây nhưng giao diện người dùng không hiển thị tiến triển nào trong hơn một giờ. Phát hiện này, được gọi là 'Lỗi Thầm Lặng', diễn ra nhất quán trên hai dòng mô hình và cho thấy khiếm khuyết nằm ở kiến trúc quy trình xử lý, không phải ở trọng số mô hình.
Một nghiên cứu điều tra về MiroFish – bộ công cụ mã nguồn mở dùng để mô phỏng xã hội đa tác nhân (multi-agent society simulation) – do một nhà nghiên cứu trong lĩnh vực khoa học xã hội tính toán thực hiện, đã phát hiện ra một lỗi nghiêm trọng được gọi là 'Silent Failure' (lỗi âm thầm). Nghiên cứu này đã nạp các đầu vào có lỗi, bao gồm cả văn bản lorem ipsum vô nghĩa, vào bản phân phối MiroFish-Offline – hệ thống sử dụng kiến trúc GraphRAG điển hình với Neo4j, một tầng agent (tác nhân), và các LLM (mô hình ngôn ngữ lớn) thông qua OpenRouter. Trong hai lần chạy trên giao diện người dùng (UI) với DeepSeek và Claude Sonnet 4, pipeline đã trích xuất đúng là không có thực thể nào từ văn bản vô nghĩa, nhưng sau đó lại bị treo ở bước tạo agent, hiển thị trạng thái 'Configuration generating' không tiến triển trong 30 và 70 phút, mà không có bất kỳ thông báo timeout hay lỗi nào. Tuy nhiên, một lần chạy có công cụ theo dõi trực tiếp phần backend lại cho thấy backend thực ra đã báo lỗi chỉ trong vài milli giây (24-33 ms) tại các endpoint của giai đoạn agent, trả về các thông báo lỗi rõ ràng như 'No entities matching criteria found' (không tìm thấy thực thể phù hợp với tiêu chí), hoàn toàn trái ngược với hiện tượng đóng băng mà giao diện người dùng thể hiện. Điều này cho thấy tầng UI của hệ thống đã không truyền đạt được các lỗi từ backend đến người dùng – một lỗi thiết kế không phụ thuộc vào mô hình AI cụ thể nào được sử dụng. Nghiên cứu này, là một phần trong bộ ba bài viết, nhằm mục đích xác định những điểm mà các pipeline như vậy âm thầm 'bình thường hóa' những nội dung vô nghĩa thay vì phát hiện ra chúng, với các phát hiện tiếp theo về những đầu vào phi lý như quốc gia hư cấu Valdoria sẽ được công bố trong các phần sau.
Nguồn: Habr — хаб ML —
bản gốc
