MIT esittelee SEAL:in – uusi askel kohti itseään parantavaa tekoälyä
MIT
Meta
Alibaba/Qwen
OpenAI
DeepMind
MIT:n tutkijat ovat ehdottaneet SEAL (Self-Adapting LLMs) -kehystä, joka mahdollistaa suurten kielimallien omien painojensa päivittämisen vahvistusoppimisen avulla. Menetelmä tuottaa itse muokkauksia harjoitusdatan luomiseksi ja parantaa suorituskykyä myöhemmissä tehtävissä. Kokeelliset tulokset muutaman otoksen oppimisessa ja tiedon integroinnissa osoittavat merkittäviä parannuksia vertailuarvoihin verrattuna.
MIT:n tutkijat julkaisivat artikkelin otsikolla 'Self-Adapting Language Models', jossa esitellään SEAL, viitekehys, joka mahdollistaa suurten kielimallien (LLM) omien painojensa päivittämisen. Malli tuottaa synteettistä harjoitusdataa itse-editoinnin kautta, joka opitaan vahvistusoppimisen avulla. Palkkio perustuu päivitetyn mallin suorituskykyyn loppukäytössä. Kokeissa, joissa käytettiin muutaman esimerkin oppimista Llama-3.2-1B-Instruct-mallilla, saavutettiin 72,5 prosentin sopeutumisaste, joka oli selvästi vertailuarvoja parempi. Tiedon integroinnissa Qwen2.5-7B-mallilla SEAL ylsi johdonmukaisesti vertailuarvoja paremmaksi, ja joskus se ylitti GPT-4.1:n tuottaman datan kahden iteraation jälkeen. Artikkelissa tuodaan esiin rajoitteita, kuten katastrofaalinen unohtaminen ja laskennallinen ylikuormitus. Ajankohta osuu samaan aikaan kasvavan kiinnostuksen kanssa itsekehittyvään tekoälyyn, mukaan lukien Sakana AI/UBC:n, CMU:n, SJTU:n ja CUHK/vivo:n vastaavat työt sekä OpenAI:n toimitusjohtajan Sam Altmanin kommentit.
Lähde: Synced —
Alkuperäinen