Modelos de Linguagem de Difusão: Como Funcionam, o que Funciona e o que Levanta Questões

Modelos de linguagem por difusão (dLLMs) geram texto em paralelo, preenchendo máscaras em qualquer posição, ao contrário dos LLMs autorregressivos que geram token por token, da esquerda para a direita. A abordagem de difusão mascarada, relacionada ao BERT, usa um processo direto que substitui tokens por MASK e um processo reverso que os restaura. As vantagens incluem geração paralela, preenchimento de texto, robustez a consultas reversas (como mostrado pela LLaDA) e melhor desempenho com dados limitados. No entanto, os dLLMs sofrem de ineficiência no cache KV, suposição de independência de tokens e geração de comprimento fixo, exigindo truques para comprimento variável. A avaliação frequentemente usa perplexidade (GenPPL), mas sofre de colapso por repetição; métricas de diversidade também são necessárias. A adaptação de modelos autorregressivos pré-treinados para dLLMs é uma abordagem padrão, com métodos como DiffuGPT, DiffuLLaMA, Dream e LLaDA, que continuou o pré-treinamento em Ling 2.0 para alcançar 16 bilhões e 100 bilhões de parâmetros. O artigo também menciona os próprios experimentos e desafios dos autores.