Primeiro modelo de difusão agentivo do mundo: autocorreção durante a ação, contexto de 128K rivaliza com modelos autorregressivos

A equipe inclusionAI do Ant Group disponibilizou como código aberto o LLaDA 2.2, um modelo de linguagem de difusão MoE com 100 bilhões de parâmetros que suporta contexto nativo de 128 mil tokens. Este é o primeiro modelo de difusão agêntico em grande escala, permitindo que o modelo gere e corrija suas saídas simultaneamente. O modelo utiliza um paradigma de edição de Levenshtein com quatro operações atômicas (MANTER, SUBSTITUIR, EXCLUIR, INSERIR) para modificar dinamicamente o conteúdo gerado. Ele também introduz o L-EBPO (otimização de política baseada em limite inferior da evidência de edição de Levenshtein) para tratar decisões de edição em múltiplas rodadas como problemas de aprendizado por reforço com base no feedback ambiental. Para lidar com contextos longos, o modelo emprega o BlockRouting, que seleciona um conjunto fixo de especialistas no nível do bloco antes do roteamento no nível do token, reduzindo o tráfego de HBM e os custos de comunicação. Em sete benchmarks de agentes, o LLaDA 2.2-flash obteve 53,83 pontos contra 55,74 do Ling-2.6-flash, demonstrando desempenho comparável, enquanto alcançou uma taxa de transferência média 1,64 vezes maior em BF16 e uma melhoria adicional de 18,6% com quantização FP8. Isso prova que modelos de difusão podem igualar modelos autorregressivos em tarefas de agentes e coexistirão em futuros sistemas de agentes.