Nghiên cứu MiroFish: Đường ống mô phỏng xã hội bỏ sót phi lý ở 0-1 trong 8 trường hợp, chèn đồ thị đảo ngược phán quyết
DeepSeek
Anthropic
Google/DeepMind
OpenAI
Một nghiên cứu về ngăn xếp mô phỏng xã hội đa tác tử MiroFish cho thấy với đầu vào byte giống hệt nhau chứa một quốc gia hư cấu với tám loại phi lý, các báo cáo của đường ống chỉ ghi nhận 0-1 trong số đó. Khi tất cả tám phi lý bị buộc chèn vào đồ thị tri thức, cùng mô hình đó ghi nhận 6-7, xác nhận đồ thị là điều kiện cần thiết cho khả năng hiển thị.
Phần thứ hai trong loạt nghiên cứu gồm ba phần về MiroFish – một stack mã nguồn mở dành cho mô phỏng xã hội đa tác nhân (multi-agent) – xem xét phần cốt lõi của nghiên cứu: một đầu vào trông có vẻ hoàn chỉnh. Pipeline không từ chối xử lý: nó xây dựng đồ thị (graph), sinh ra các agent, chạy mô phỏng, và tạo ra một báo cáo mạch lạc kèm dự báo. Hạt giống lỗi ở đây là Cộng hòa Valdoria, một quốc gia hư cấu với hồ sơ được chuẩn bị chuyên nghiệp chứa tám nhóm phi lý: một quốc gia không giáp biển nhưng đánh bắt cá biển sâu chiếm 46% GDP (tổng sản phẩm quốc nội), có biên giới với Đức, Pháp và Nhật Bản, dân số 340 triệu người trên diện tích 850 km², đồng tiền được neo tỷ giá 1:1 với cả USD lẫn EUR, sở hữu 2400 đầu đạn hạt nhân nhưng không có quân đội và ngân sách quốc phòng chỉ 12.000 USD, một vị quân chủ được bầu 3 năm một lần nhưng lại trị vì suốt 47 năm, tuổi thọ trung bình 147 năm trong khi độ tuổi trung vị chỉ 12, và đồng thời là thành viên của NATO (Tổ chức Hiệp ước Bắc Đại Tây Dương), Liên minh châu Phi, ASEAN (Hiệp hội các quốc gia Đông Nam Á) trong khi vẫn đang bị Liên Hợp Quốc (UN) trừng phạt và đồng thời giữ chức chủ tịch Hội đồng Nhân quyền Liên Hợp Quốc. Yêu cầu dự báo được đặt ra một cách trung lập và có vẻ thực tế: dự đoán phản ứng trong nước và tác động kinh tế khi tham gia một hiệp định thương mại mới. Việc mã hóa mù (blind coding) các báo cáo đã được ẩn danh bởi hai người mã hóa độc lập (độ đồng thuận 97,9%, hệ số Cohen's kappa đạt 0,952) cho thấy bốn lần chạy đối chứng với DeepSeek có mã byte giống hệt nhau chỉ phát hiện được tối đa một nhóm phi lý (nghịch lý giữa lệnh trừng phạt và việc chủ trì Hội đồng Nhân quyền), và đôi khi không phát hiện được nhóm nào, mặc dù đồ thị vẫn chứa nghịch lý đó ngay cả trong những lần chạy không phát hiện ra nó. Đồ thị chính là ranh giới giải thích khả năng nhận diện: không báo cáo nào gắn cờ cho một nhóm phi lý mà mâu thuẫn của nó không được ghi nhận trong đồ thị, nhưng việc được ghi nhận trong đồ thị không đảm bảo rằng nó sẽ được gắn cờ. Một thí nghiệm được đăng ký trước đã tiêm cả tám nhóm phi lý vào đồ thị Neo4j thông qua một script Cypher, thực hiện qua API trước khi sinh agent. Hai lần chạy tiêm độc lập lần lượt phát hiện được 7 và 6 nhóm phi lý, so với chỉ 3 trên tổng số 32 lần ở nhóm đối chứng; kiểm định chính xác Fisher (Fisher's exact test) cho giá trị p = 1,26×10⁻⁶. Nhóm phi lý duy nhất mà cả hai lần tiêm đều bỏ sót là A7 (liên quan đến nhân khẩu học). Cùng một mô hình DeepSeek trước đó từng dự báo tăng trưởng xuất khẩu cho ngành đánh bắt cá biển sâu mà không hề đưa ra cảnh báo nào, nay lại viết nguyên văn về 'tính bất khả thi về mặt địa lý' và 'các điều kiện nghịch lý', bao gồm cả việc neo tỷ giá kép. Kết luận đã định hình lại phát hiện này: vấn đề không phải là mô hình bỏ qua các điều phi lý, mà là pipeline đã lọc bỏ phần lớn chúng ngay ở cấp độ đồ thị trước khi mô hình viết báo cáo kịp nhìn thấy; đồ thị chính là điều kiện cần để những phi lý đó có thể được nhận diện.
Nguồn: Habr — хаб ИИ —
bản gốc
