지동 타이추, GMC 코어셋 프루닝 방법 도입: 토큰 80% 감소로 전체 멀티모달 성능 유지

중국과학원의 Zidong Taichu 팀이 비전-언어 모델을 위한 새로운 코어셋 프루닝 기법인 GMC(Grounded Message Coreset Pruning)를 공개했습니다. 시각 토큰에는 중복이 많은 경우가 흔해 GPU(그래픽 처리 장치) 메모리 사용량이 커지고 추론 속도가 느려지는 문제가 있습니다. 기존의 Top-K 토큰 필터링 방식은 점수가 높은 토큰만 남기는데, 이러한 토큰들이 시각적으로 두드러진 영역에 몰려 있어 정보 손실과 시각적 환각 현상을 유발합니다. GMC는 상호보완적 증거 적응 선택과 개체군 전송(population transport)이라는 2단계 구조를 사용합니다. 첫 번째 단계에서는 의미적·시각적·공간적 측면을 고려해, 아직 커버되지 않은 증거를 커버하는 데 얼마나 기여하는지를 기준으로 핵심 토큰을 선택합니다. 두 번째 단계에서는 삭제된 토큰의 은닉 상태를 대표 토큰에 통합해 별도의 학습 없이도 정보를 보존합니다. GMC는 학습이 필요 없으며, 태스크 레이블이나 OCR(광학 문자 인식) 모델, 외부 도구 없이도 동작하고, Qwen2.5-VL 및 LLaVA-1.5 모델에 적용할 수 있습니다. 실험 결과, 토큰을 80.2% 줄인 경우(1,296개에서 256개로) GMC는 TextVQA, ChartQA, MME 등의 벤치마크에서 원본 모델 평균 성능의 97.78%를 유지했습니다. 90.1%를 줄였을 때는 99.11%를 유지했습니다. LLaVA-1.5에서는 토큰을 128개와 64개로 줄였을 때 각각 99.76%와 99.82%의 성능을 유지했습니다. GMC는 POPE, AMBER, HallusionBench에서 시각적 환각도 줄였습니다. 긴 문서 QA(질의응답)에서는 1.258배의 속도 향상을 달성하고 KV 캐시를 73.94% 줄이면서도 답변 품질의 98.87%를 유지했습니다. 이 논문은 arXiv에서 확인할 수 있습니다.