Диффузионные языковые модели: как они работают, что работает, и что вызывает вопросы

Диффузионные языковые модели (dLLM) генерируют текст параллельно, заполняя маски в любом месте последовательности. Они предлагают преимущества, такие как параллельная генерация, заполнение пропусков в тексте и устойчивость к обратным запросам, но сталкиваются с проблемами, включая неэффективность использования памяти и генерацию фиксированной длины. В статье обсуждаются недавние исследования, включая LLaDA, Plaid и методы потокового согласования, а также рассматривается адаптация предобученных авторегрессионных моделей.