세계 최초의 에이전틱 확산 모델: 행동 중 자가 수정, 128K 컨텍스트로 자기회귀 모델과 견줘

앤트 그룹의 inclusionAI 팀이 1000억 개의 파라미터를 가진 MoE 확산 언어 모델인 LLaDA 2.2를 오픈소스로 공개했습니다. 이 모델은 128K의 기본 컨텍스트를 지원하며, 최초의 대규모 에이전트 확산 모델로서 모델이 출력을 생성하면서 동시에 수정할 수 있습니다. 이 모델은 4개의 원자 연산(KEEP, SUBSTITUTE, DELETE, INSERT)을 사용하는 레벤슈타인 편집 패러다임을 채택하여 생성된 콘텐츠를 동적으로 수정합니다. 또한 L-EBPO(레벤슈타인 편집 증거 하한 정책 최적화)를 도입하여 다중 턴 편집 결정을 환경 피드백에 기반한 강화 학습 문제로 처리합니다. 긴 컨텍스트를 처리하기 위해 모델은 블록 라우팅을 사용하며, 이는 토큰 수준 라우팅 전에 블록 수준에서 고정된 전문가 풀을 선택하여 HBM 트래픽과 통신 비용을 줄입니다. 7개의 에이전트 벤치마크에서 LLaDA 2.2-flash는 53.83점을 기록해 Ling-2.6-flash의 55.74점과 비슷한 성능을 보여주었으며, BF16에서 평균 1.64배의 처리량을 달성하고 FP8 양자화를 통해 추가로 18.6%의 성능 향상을 보였습니다. 이는 확산 모델이 에이전트 작업에서 자기회귀 모델과 견줄 수 있으며, 향후 에이전트 시스템에서 공존할 것임을 증명합니다.