LLM-tutkimuspaperit: Vuoden 2026 lista (tammi–toukokuu)

Sebastian Raschka on pitänyt yllä tapaa kerätä jatkuvaa listaa tutkimuspapereista, joita hän haluaa lukea tai siteerata. Vuoden 2026 ensimmäiselle puoliskolle hän kokosi kuratoidun listan papereista, jotka oli merkitty kirjanmerkkeihin tammikuusta toukokuuhun. Lista ei ole täydellinen, mutta se heijastaa hänen kiinnostustaan päättelymalleihin, vahvistusoppimiseen, tehokkaaseen päättelyyn, agenttivaljaisiin, työkalujen käyttöön, pitkään kontekstiin, diffuusio-kielimalleihin ja käytännön palvelininfrastruktuuriin. Kategorioita ovat arkkitehtuuri ja mallisuunnittelu, tehokas koulutus ja skaalaus, päättelyn tehokkuus ja KV-välimuisti, harva tarkkaavaisuus ja pitkä konteksti, päättely ja testausaikalaskenta, vahvistusoppiminen ja RLVR, agenttijärjestelmät ja työkalujen käyttö, koodausagentit ja ohjelmistotuotanto, diffuusio-kielimallit sekä mallien arviointi ja vertailuarvot. Merkittäviä papereita ovat Nemotron 3 Super, joka käyttää hybridiä Mamba-Transformer-arkkitehtuuria tehokkuuden parantamiseksi, sekä Mamba-3 ja Gated DeltaNet-2 vaihtoehtoisina tarkkaavaisuusmekanismeille. Raschka korostaa, että pitkän kontekstin tehokkuus on tärkeää, kun suuria kielimalleja käytetään agenttijärjestelmissä, kuten OpenClaw. Hän huomauttaa myös hybridiarkkitehtuurien trendistä, jossa vuorottelevat tarkkaavaisuus- ja vaihtoehtoiset kerrokset, kuten Qwen3.6:ssa, jossa on Gated DeltaNet -kerroksia.