Makalah Riset LLM: Daftar 2026 (Januari hingga Mei)

Sebastian Raschka memiliki kebiasaan menyimpan daftar terus-menerus dari makalah penelitian yang ingin ia baca atau kutip. Untuk paruh pertama tahun 2026, ia menyusun daftar kurasi makalah yang ditandai dari Januari hingga Mei. Daftar ini tidak lengkap, tetapi mencerminkan minatnya pada model penalaran, pembelajaran penguatan, inferensi yang efisien, kerangka kerja agen, penggunaan alat, konteks panjang, model bahasa difusi, dan infrastruktur penyajian yang praktis. Kategori-kategori yang tercakup meliputi Arsitektur dan Desain Model, Pelatihan dan Penskalakan yang Efisien, Efisiensi Inferensi dan Cache KV, Perhatian Jarang dan Konteks Panjang, Penalaran dan Komputasi Waktu Uji, Pembelajaran Penguatan dan RLVR, Sistem Agen dan Penggunaan Alat, Agen Pengkodean dan Rekayasa Perangkat Lunak, Model Bahasa Difusi, serta Evaluasi Model dan Tolok Ukur. Makalah yang menonjol termasuk Nemotron 3 Super, yang menggunakan arsitektur hybrid Mamba-Transformer untuk efisiensi, dan Mamba-3 serta Gated DeltaNet-2 sebagai alternatif untuk perhatian. Raschka menekankan bahwa efisiensi konteks panjang penting karena model bahasa besar (LLM) digunakan dalam sistem agen seperti OpenClaw. Ia juga mencatat tren arsitektur hybrid dengan perhatian bergantian dan lapisan alternatif, seperti yang terlihat pada Qwen3.6 dengan lapisan Gated DeltaNet.