PSU와 듀크 대학 연구진, 다중 에이전트 시스템의 자동화된 실패 귀인 방법 소개

펜실베이니아 주립대학과 듀크 대학의 연구팀이 구글 딥마인드, 워싱턴 대학, 메타, 난양공과대학(NTU), 오리건 주립대학의 연구자들과 함께 새로운 연구 문제를 정의했다: 대규모 언어 모델(LLM) 기반 다중 에이전트 시스템에서의 자동 실패 원인 분석이다. 연구팀은 127개의 다중 에이전트 시스템에서 수집된 실패 로그와 함께, 책임 에이전트, 결정적 오류 단계, 자연어 설명에 대한 인간 주석이 포함된 첫 번째 벤치마크 데이터셋 'Who&When'을 구축했다. 연구자들은 'All-at-Once', 'Step-by-Step', 'Binary Search'의 세 가지 원인 분석 방법을 개발하고 평가했다. GPT-4o를 사용한 실험 결과, 최고의 단일 방법은 책임 에이전트 식별에 53.5%의 정확도, 오류 단위 파악에 14.2%의 정확도를 보였다. 혼합 접근법은 성능을 향상시켰지만 계산 비용이 더 높았다. 이 논문은 ICML 2025에서 스포트라이트 발표로 채택되었으며, 코드와 데이터셋이 오픈소스로 공개되었다.