Yandex kouluttaa älykaiutintaan uusiin nopeisiin komentoihin heikentämättä vanhojen laatua
Яндекс
Yandex on lisännyt älykaiuttimeensa uusia nopeita komentoja ("tykkää", "en tykkää", "ota Bluetooth käyttöön", "poista Bluetooth käytöstä") heikentämättä olemassa olevia komentoja. Modulaarinen verkon laajennusmenetelmä käytti uudelleen jäädytetyn perusmallin sisäisiä esityksiä, vähentäen suorittimen käyttöä 35 prosentilla, keskusmuistin käyttöä 50 prosentilla ja vääriä aktivaatioita 60 prosentilla.
Yandexin älykaiutin (esim. Station Street) tukee pikakomentoja – lyhyitä ilmauksia kuten 'seuraava' tai 'hiljempaa' – jotka ohittavat aktivointisanan 'Alice' ja toimivat paikallisesti laitteella. Uusien komentojen lisäämiseksi vanhoja heikentämättä tiimi hylkäsi täyden uudelleenkoulutuksen (taantuman riski), erilliset pienet mallit (tehoton ja päällekkäinen) ja klassisia jatkuvan oppimisen menetelmiä kuten EWC:tä (ei takuita). Sen sijaan he käyttivät modulaarista verkon laajennusta: tietyn kerroksen jälkeen jäädytetystä alkuperäisestä mallista alkaen rinnakkainen haara poimii aktivaatiot, laskee pienen additiivisen vektorin ja liittää sen joka askeleessa. Tämä mahdollistaa uusien komentojen oppimisen samalla, kun vanhat säilyvät, ja tarjoaa täyden hallinnan muistin ja laskennan suhteen. Koulutus käytti kahta vaihetta – esikoulutus 60–100 miljoonalla kuratoimattomalla ASR-lokilla ja hienosäätö 400 000–1 miljoonalla puhtaalla kotitalousäänitteellä. Tulokset: CPU-kuorma väheni 35 %, RAM 50 % ja väärien aktivointien määrä laski 60 %. Työ julkaistiin Interspeech 2026 -konferenssissa.
Lähde: Habr — хаб ML —
Alkuperäinen