DiffusionGemma: Tăng tốc sinh văn bản lên gấp 4 lần

Google DeepMind vừa phát hành DiffusionGemma, một mô hình Mixture of Experts (MoE) thử nghiệm với 26 tỷ tham số theo giấy phép Apache 2.0, giúp tăng tốc độ sinh văn bản lên đến 4 lần nhờ sử dụng phương pháp dựa trên khuếch tán (diffusion) thay vì dự đoán token tuần tự. Mô hình chỉ kích hoạt 3,8 tỷ tham số cho mỗi suy luận, phù hợp trong 18GB VRAM khi lượng tử hóa, và đạt hơn 1000 token mỗi giây trên NVIDIA H100 cùng 700+ token trên GeForce RTX 5090. Nó sử dụng cơ chế chú ý hai chiều (bi-directional attention) để sinh 256 token song song, cho phép thực hiện các tác vụ phi tuyến tính như điền mã (code infilling) và giải Sudoku. DiffusionGemma được tối ưu cho suy luận nội bộ với độ đồng thời thấp, nơi giải mã song song mang lại lợi ích tối đa, trong khi các mô hình tự hồi quy vẫn phù hợp hơn cho phục vụ đám mây với QPS cao. Mô hình tinh chỉnh đầu ra một cách lặp đi lặp lại, và có thể được tinh chỉnh bằng các công cụ như Unsloth, Hugging Face, vLLM, MLX, JAX, NVIDIA NeMo, với hỗ trợ llama.cpp sắp tới. Google DeepMind đã hợp tác với NVIDIA để tối ưu hóa phần cứng bao gồm kernel NVFP4, và mô hình hiện có sẵn trên Hugging Face, nền tảng Gemini Enterprise Agent và NVIDIA NIM.