MiroFish 연구: 시뮬레이션 사회 파이프라인이 8개 사례 중 0-1개에서 터무니없음을 간과, 그래프 주입이 판정을 뒤집다
DeepSeek
Anthropic
Google/DeepMind
OpenAI
MiroFish 오픈 멀티 에이전트 사회 시뮬레이션 스택에 대한 연구 결과, 여덟 가지 부조리한 클래스를 포함하는 가상 국가가 담긴 바이트 동일 입력에서 파이프라인의 보고서는 그 중 0-1개만을 지목했습니다. 모든 여덟 가지 부조리함을 지식 그래프에 강제로 주입했을 때, 동일한 모델이 6-7개를 지목하여 그래프가 가시성의 필요 조건임을 확인했습니다.
3부로 구성된 미로피시(MiroFish)에 관한 연구 중 두 번째 부분은 다중 에이전트 사회 시뮬레이션을 위한 오픈 스택으로, 연구의 핵심 코퍼스(입력값)를 조사한다. 그 입력값은 완전해 보인다. 파이프라인은 거부하지 않는다. 그래프를 구축하고, 에이전트를 생성하며, 시뮬레이션을 실행하고, 예측을 포함한 일관된 보고서를 생성한다. 결함이 있는 시드는 가상의 국가인 발도리아 공화국(Republic of Valdoria)으로, 전문적으로 준비된 도시에는 8가지 부조리한 항목이 포함되어 있다. 내륙국인데 GDP의 46%가 심해 어업이고, 독일, 프랑스, 일본과 국경을 접하며, 850km²에 3억 4천만 명의 인구가 있고, 통화는 미국 달러와 유로에 모두 1:1로 고정되어 있으며, 군대 없이 2400개의 핵탄두와 12,000달러의 국방 예산을 보유하고, 3년마다 선출되는 군주가 47년 동안 통치하며, 기대 수명은 147세인데 중위 연령은 12세이고, NATO, 아프리카 연합, ASEAN에 동시에 가입하고 유엔 제재를 받으면서 유엔 인권 이사회 의장국을 맡고 있는 것이다. 예측 요청은 중립적이고 현실적이다. 새로운 무역 협정 체결에 따른 국내 반응과 경제적 효과를 예측하라는 것이다. 두 명의 코더가 익명화된 보고서를 맹목적으로 코딩한 결과(일치율 97.9%, 코헨의 카파 계수 0.952), 바이트 단위로 동일한 딥시크(DeepSeek) 대조군 실행은 기껏해야 한 가지 부조리 항목(제재/인권 이사회 역설)을 지적했으며, 때로는 아무것도 지적하지 않았다. 그래프에는 역설이 포함되어 있음에도 불구하고 실행에서 지적하지 않은 경우도 있었다. 그래프는 가시성 경계를 설명한다. 어떤 보고서도 그래프에 포착되지 않은 모순이 있는 항목을 지적하지 않았지만, 포착이 지적을 보장하지는 않았다. 사전 등록된 실험에서는 에이전트 생성 전에 API를 통해 사이퍼(Cypher) 스크립트로 Neo4j 그래프에 8가지 부조리 항목을 모두 주입했다. 두 번의 독립적인 주입 실행은 각각 7개와 6개의 항목을 지적했으며, 대조군 32개 중 3개가 지적된 것과 비교된다. 피셔의 정확 검정 p = 1.26×10⁻⁶. 두 주입 모두 놓친 유일한 항목은 A7(인구통계)이었다. 이전에 심해 어업에 대한 수출 성장을 주의 없이 전망했던 동일한 딥시크가 이제는 '지리적 불가능성'과 이중 고정 통화를 포함한 '역설적 조건'에 대해 그대로 언급했다. 결론은 연구 결과를 재구성한다. 모델이 부조리를 무시하는 것이 아니라, 파이프라인이 보고서 모델이 보기 전에 그래프 수준에서 대부분의 부조리를 걸러낸다는 것이다. 그래프는 가시성의 필요 조건이다.
출처: Habr — хаб ИИ —
원문
