Ming-Flash-Omni: 통합 전 모달리티 모델의 핵심 기술과 실무

앤트 그룹(Ant Group)의 궈칭페이(Guo Qingpei)는 QCon Global Software Development Conference 2026 베이징에서 수천억 개의 매개변수를 가진 풀모달리티 통합 모델 Ming-Flash-Omni의 기술 아키텍처와 실전 노하우를 발표했다. 이 모델은 오디오, 비디오, 이미지, 텍스트 이해와 생성 작업을 하나의 프레임워크 안에서 통합한다. 모달리티 통합을 위해 연구팀은 모달리티별 전문가 라우팅(expert routing)을 처리하는 멀티 라우터(multi-router) 메커니즘과, 토큰 중요도에 따라 전문가를 동적으로 할당하여 이미지 및 비디오 토큰의 중복을 줄이는 AnyExperts를 설계했다. 또한 데이터 비율 계획과 수렴 속도에 기반한 동적 학습률(learning rate) 조정을 포함한 협업 학습 전략도 도입했다. 작업 통합을 위해서는 고정된(frozen) 멀티모달 이해 백본을 기반으로 이미지 생성과 음성 합성 기능을 추가했으며, 생성적 분할(segmentation) 학습을 통한 세밀한 시각 지식, 신원(identity) 보존을 위한 이중 스트림 정보 접근 방식, 그리고 글자가 깨지는 문제를 방지하기 위한 타이포그래피 특징의 별도 추출 기법을 보완했다. 음성 생성 부분은 방언, 감정, 맞춤형 음색 제어 기능과 음성·소리·음악의 동시 생성 기능으로 강화되었다. 이 모델은 여러 모달리티에서 최고 수준(state-of-the-art)의 성능을 달성해 특화 모델과 동등하거나 이를 상회하는 결과를 냈으며, 최초의 오픈소스 1000억 단위(thousand-billion) 매개변수급 풀모달리티 통합 모델이라는 점에서 의미가 있다. 엔지니어링 최적화 측면에서는 풀모달리티 시퀀스 패킹(sequence packing) 기법과 유연한 병렬 처리 전략을 도입해 학습 효율을 67% 향상시켰다. 연구팀은 또한 오픈소스 프로젝트 MingTok과 MingTok-Audio를 통해 표현 수준(representation-level)의 통합도 탐구했으며, 이미지와 오디오의 이해 및 생성을 위한 통합 프레임워크를 시연했다.