Kegagalan Senyap di MiroFish: Apa yang Terjadi Ketika Simulator Masyarakat AI Mendapat Lorem Ipsum Murni
DeepSeek
Anthropic
Google/DeepMind
OpenAI
OpenRouter
Sebuah studi tentang tumpukan simulasi multi-agen sumber terbuka MiroFish mengungkapkan cacat kritis: ketika diberi teks omong kosong seperti lorem ipsum, pipeline gagal secara senyap, dengan backend error dalam hitungan milidetik tetapi antarmuka pengguna tidak menunjukkan kemajuan selama lebih dari satu jam. Temuan yang dijuluki 'Kegagalan Senyap' ini konsisten di dua keluarga model dan menunjukkan bahwa cacatnya terletak pada arsitektur pipeline, bukan pada bobot model.
Investigasi terhadap tumpukan simulasi masyarakat multi-agen开源 MiroFish, yang dilakukan oleh seorang peneliti ilmu sosial komputasional, menemukan cacat kritis yang disebut 'Kegagalan Diam-diam'. Studi ini memuat input yang cacat, termasuk lorem ipsum murni, ke dalam distribusi MiroFish-Offline, yang menggunakan arsitektur GraphRAG yang khas dengan Neo4j, lapisan agen, dan LLM melalui OpenRouter. Dalam dua kali menjalankan antarmuka pengguna dengan DeepSeek dan Claude Sonnet 4, pipa tersebut dengan benar mengekstraksi nol entitas dari teks yang tidak masuk akal itu, tetapi kemudian berhenti pada pembuatan agen, menunjukkan status 'Konfigurasi sedang dibuat' yang tidak berkembang selama masing-masing 30 dan 70 menit, tanpa batas waktu atau kesalahan. Namun, menjalankan dengan instrumen yang mengamati backend secara langsung mengungkapkan bahwa backend sebenarnya gagal dalam hitungan milidetik (24-33 md) pada titik akhir tahap agen, mengembalikan pesan kesalahan yang jelas seperti 'Tidak ada entitas yang cocok dengan kriteria ditemukan', yang bertentangan dengan pembekuan yang tampak pada antarmuka pengguna. Ini menunjukkan bahwa lapisan antarmuka pengguna sistem gagal mengkomunikasikan kegagalan backend kepada pengguna, cacat desain yang tidak bergantung pada model AI spesifik yang digunakan. Studi ini, bagian dari seri tiga bagian, bertujuan untuk memetakan di mana pipa semacam itu secara diam-diam menormalkan ketidakmasukakalan daripada mendeteksinya, dengan temuan lebih lanjut tentang input yang tidak masuk akal seperti negara fiksi Valdoria yang akan diterbitkan di bagian-bagian selanjutnya.
Sumber: Habr — хаб ML —
asli
