Zidong Taichu представляет метод GMC Coreset Pruning: сохраняет полные мультимодальные возможности при сокращении токенов на 80%
Команда разработчиков большой модели Zidong Taichu из Института автоматизации Китайской академии наук разработала метод GMC (Grounded Message Coreset Pruning) — метод сокращения выборки без обучения, который уменьшает количество визуальных токенов до 90% при сохранении более 99% средней производительности модели. GMC решает проблему избыточности визуальных токенов в моделях зрения и языка, предлагая решение «подключи и работай», совместимое с популярными моделями, такими как Qwen и LLaVA.
Команда Zidong Taichu из Китайской академии наук представила GMC (Grounded Message Coreset Pruning — метод сокращения основного набора сообщений с привязкой к контексту) — новый метод прунинга корсета для визуально-языковых моделей. Визуальные токены часто избыточны, что приводит к высокому потреблению памяти графического процессора (GPU) и замедлению инференса. Традиционная фильтрация Top-K
Показать ещё ↓
Источник: QbitAI 量子位 —
оригинал