Primer modelo de difusión agéntico del mundo: se autocorrige mientras actúa, con un contexto de 128K que iguala a los modelos autorregresivos

El equipo de inclusionAI de Ant Group ha publicado en código abierto LLaDA 2.2, un modelo de lenguaje de difusión MoE con 100 mil millones de parámetros que admite un contexto nativo de 128K. Es el primer modelo de agente difusivo a gran escala, que permite al modelo generar y corregir sus salidas simultáneamente. El modelo utiliza un paradigma de edición Levenshtein con cuatro operaciones atómicas (MANTENER, SUSTITUIR, ELIMINAR, INSERTAR) para modificar dinámicamente el contenido generado. También introduce L-EBPO (Optimización de Políticas basada en el Límite Inferior de Evidencia de Edición Levenshtein) para tratar las decisiones de edición en múltiples turnos como problemas de aprendizaje por refuerzo basados en la retroalimentación del entorno. Para manejar contextos largos, el modelo emplea BlockRouting, que selecciona un conjunto fijo de expertos a nivel de bloque antes del enrutamiento a nivel de token, reduciendo el tráfico de HBM y los costos de comunicación. En siete puntos de referencia de agentes, LLaDA 2.2-flash obtuvo 53,83 frente a los 55,74 de Ling-2.6-flash, demostrando un rendimiento comparable, mientras que logró un rendimiento promedio 1,64 veces mayor en BF16 y una mejora adicional del 18,6% con cuantificación FP8. Esto demuestra que los modelos de difusión pueden igualar a los modelos autorregresivos en tareas de agente y coexistirán en futuros sistemas de agentes.