Mini-PC pada Strix Halo di bawah beban paralel: 236 tok/s pada 32 permintaan konkuren dan tiga kesalahan
Google/DeepMind
Sebuah Beelink GTR9 Pro dengan Ryzen AI Max+ 395 mencapai agregat 236 tok/s pada 32 permintaan konkuren dalam proses singkat, mempertahankan rata-rata 226 tok/s selama 30 menit tanpa throttling. Penulis menemukan penurunan throughput yang dapat direproduksi antara 8 dan 10 klien konkuren di semua model yang diuji, dan menemukan bahwa decoding spekulatif (MTP) mempercepat kinerja klien tunggal sebesar 42% tetapi menjadi hukuman saat konkurensi.
Menguji Beelink GTR9 Pro (Ryzen AI Max+ 395, Radeon 8060S, RAM terpadu 128 GB) dengan llama.cpp melalui Vulkan/RADV, penulis menjalankan tolok ukur inferensi paralel. Qwen 3.6 35B-A3B dalam Q4_K_M menunjukkan lembah throughput dari 149 tok/s dengan 8 klien turun menjadi 99 dengan 10 klien, lalu pulih ke 160 tok/s dengan 32 klien. Lembah ini dapat direproduksi di semua model yang diuji (Qwen dalam tiga kuantisasi dan Gemma 4 26B dalam QAT) dan tidak dapat diatribusikan pada satu model atau kuantisasi tertentu. Agregat terbaik adalah 236 tok/s dengan Gemma 4 pada 32 klien (median dari pengujian 75 detik). Uji ketahanan 30 menit menghasilkan rata-rata 226,4 tok/s dengan suhu stabil (78°C) dan daya (113 W), dengan 1,4% kesalahan akibat pengaturan waktu server yang hilang. Decoding spekulatif (MTP) meningkatkan kecepatan klien tunggal sebesar 42% (53,3→75,6 tok/s) tetapi mengurangi konkurensi: pada 4 klien mengalami regresi 31%, pada 32 klien kehilangan 33% throughput. Penulis mencatat tiga kesalahan yang tertangkap sebelum publikasi melalui pengukuran kontrol.
Sumber: Habr — хаб NLP —
asli