Google DiffusionGemma: Laporan teknis menjelaskan model difusi teks yang cepat

Google DeepMind telah menerbitkan laporan teknis untuk DiffusionGemma, sebuah model yang dirilis pada pertengahan Juni yang menghasilkan teks dengan menyempurnakan blok 256 token secara paralel, mirip dengan pembuatan gambar dari noise. Pada akselerator H100 milik Nvidia, model ini mencapai sekitar 1.500 token per detik. Alih-alih dilatih dari awal, model Gemma-4-26B-A4B yang sudah ada diubah menjadi model difusi menggunakan kurang dari 10% dari anggaran token pelatihan asli. Pelatihan melibatkan dua tahap: pertama, belajar merekonstruksi blok teks yang berisik, kemudian fase gabungan pembelajaran penguatan dan distilasi sampler, yang oleh Google disebut SD·RL. Laporan tersebut menyatakan bahwa ini meningkatkan tolok ukur penalaran rata-rata sepuluh poin sementara hampir melipatgandakan token per langkah, dan respons sekitar 50% lebih pendek. Pemrosesan dua arah DiffusionGemma memungkinkan koreksi diri sebelum keluaran, memungkinkannya memecahkan teka-teki Sudoku dengan akurasi 85% setelah penyesuaian halus, sedangkan model dasar gagal. Model ini juga mempertahankan kemampuan untuk menghasilkan kata demi kata, memungkinkan pengguna untuk mengganti mode. Namun, kinerja absolut berada di bawah model autoregresif karena faktor-faktor seperti konversi pasca-hoc dan fase pelatihan pendek yang ditujukan untuk kecepatan. Model kadang-kadang jatuh ke dalam loop pengulangan dan mungkin gagal menutup bagian penalaran, menurunkan skor tolok ukur. Keuntungan kecepatan terutama berlaku dalam skenario pengguna tunggal, karena model autoregresif mengejar ketinggalan dalam throughput di luar 32 permintaan bersamaan. Google memposisikan DiffusionGemma sebagai eksperimental, bertujuan untuk mempercepat penelitian dan menyediakan dasar untuk adaptasi khusus. Model ini sudah digunakan oleh startup Interfaze untuk pengenalan ucapan multibahasa dan dalam proyek untuk laporan radiologi interaktif. Model ini tersedia di bawah Apache 2.0 di Hugging Face, dan pendahulunya, Gemini Diffusion, didemokan pada Mei 2025.