Falha Silenciosa no MiroFish: O Que Acontece Quando um Simulador de Sociedade de IA Recebe Apenas Lorem Ipsum
DeepSeek
Anthropic
Google/DeepMind
OpenAI
OpenRouter
Um estudo do stack de simulação multiagente de código aberto MiroFish revela uma falha crítica: quando alimentado com texto sem sentido como lorem ipsum, o pipeline falha silenciosamente, com o backend errando em milissegundos, mas a interface do usuário não mostrando progresso por mais de uma hora. A descoberta, apelidada de 'Falha Silenciosa', foi consistente em duas famílias de modelos e sugere que o defeito está na arquitetura do pipeline, não nos pesos do modelo.
Uma investigação sobre a pilha de simulação de sociedade multiagente de código aberto MiroFish, conduzida por um pesquisador em ciência social computacional, descobriu um defeito crítico denominado 'Falha Silenciosa'. O estudo carregou entradas defeituosas, incluindo lorem ipsum puro, na distribuição MiroFish-Offline, que usa uma arquitetura GraphRAG típica com Neo4j, uma camada de agentes e LLMs via OpenRouter. Em duas execuções de interface com DeepSeek e Claude Sonnet 4, o pipeline extraiu corretamente zero entidades do texto sem sentido, mas depois travou na geração de agentes, mostrando um status 'Configuração gerando' sem progresso por 30 e 70 minutos, respectivamente, sem timeout ou erro. No entanto, uma execução instrumentada observando o backend diretamente revelou que o backend na verdade falhou em milissegundos (24-33 ms) nos endpoints da fase de agente, retornando mensagens de erro claras como 'Nenhuma entidade correspondente aos critérios encontrada', contradizendo o aparente congelamento da interface. Isso indica que a camada de interface do sistema falha em comunicar erros do backend ao usuário, um defeito de design independente do modelo de IA específico usado. O estudo, parte de uma série de três partes, visa mapear onde tais pipelines silenciosamente normalizam o absurdo em vez de detectá-lo, com outras descobertas sobre entradas absurdas, como o país fictício Valdoria, a serem publicadas em partes posteriores.
Fonte: Habr — хаб ML —
original
