Первая в мире агентная диффузионная модель: самокоррекция в действии, 128K контекст сравнивается с авторегрессионными моделями
Команда inclusionAI Ant Group выпустила LLaDA 2.2, первую в мире крупномасштабную агентную диффузионную модель с нативным контекстом в 128K токенов. Она интегрирует редактирование Левенштейна, обучение с подкреплением на основе обратной связи от среды и архитектуру BlockRouting, достигая производительности, близкой к лучшим авторегрессионным моделям на агентных бенчмарках, при более высокой пропускной способности.
Команда inclusionAI компании Ant Group открыла исходный код модели LLaDA 2.2 — 100-миллиардного параметра диффузионной языковой модели на архитектуре MoE (смесь экспертов), поддерживающей собственный контекст длиной 128 тысяч токенов. Это первая крупномасштабная агентная диффузионная модель, позволяющая генерировать и одновременно корректировать свои результаты. Модель использует редакционный
Показать ещё ↓
Источник: QbitAI 量子位 —
оригинал