自動太初、GMCコアセット刈り込み法を発表：トークン80%削減でマルチモーダル能力を完全維持

中国科学院のZidong Taichuチームは、視覚言語モデルのための新しいコアセット刈り込み手法であるGMC（Grounded Message Coreset Pruning）を発表しました。視覚トークンは冗長であることが多く、GPUメモリ使用量の増加や推論の遅延を引き起こします。従来のTop-Kトークンフィルタリングは高スコアのトークンのみを保持するため、それらは重要な領域に集中し、情報の喪失や視覚的幻覚を引き起こします。GMCは二段階のアーキテクチャを用います：補完的証拠の適応的選択と集団輸送です。第一段階では、未カバーの証拠をカバーするための寄与に基づいて、意味的、視覚的、空間的側面を考慮して主要トークンを選択します。第二段階では、削除されたトークンの隠れ状態を代表的なトークンに集約し、訓練なしで情報を保持します。GMCは訓練不要で、タスクラベル、OCRモデル、外部ツールを必要とせず、Qwen2.5-VLおよびLLaVA-1.5モデルで動作します。実験では、80.2%のトークン削減（1296から256へ）で、GMCはTextVQA、ChartQA、MMEなどのベンチマークでフルモデルの平均性能の97.78%を保持しました。90.1%削減では99.11%を保持します。LLaVA-1.5では、128および64トークンでそれぞれ99.76%および99.82%を保持しました。GMCはまた、POPE、AMBER、およびHallusionBenchにおける視覚的幻覚を軽減します。長文書QAでは、1.258倍の高速化を達成し、KVキャッシュを73.94%削減し、回答品質を98.87%維持します。この論文はarXivで入手可能です。