Ilyan ensimmäinen malli paljastui: SSI:n testiaikainen koulutusmoottori
OpenAI
NVIDIA
Vuoto väittää, että Ilya Sutskeverin startup-yritys SSI kehittää pientä päättelymoottoria, joka perustuu testiaikaiseen koulutukseen (Test-Time Training, TTT), ja se saattaisi julkaista jo elokuussa. Malli, joka on koulutettu kuratoidulla datalla oppimaan oppimaan, päivittää painojaan päättelyn aikana, mikä voisi kilpailla suurempien mallien kanssa. Tämä sopii yhteen Ilyan julkisten näkemysten kanssa jatkuvasta oppimisesta ja Nvidian äskettäisestä sijoituksesta SSI:hen.
X:ssä käyttäjän 'Three Strawberries' julkaisema vuoto väittää, että Ilya Sutskeverin startup SSI tutkii pientä päättelymoottoria, joka perustuu Test-Time Training (TTT) -menetelmään. Malli käyttää erityisesti kuratoitua dataa oppiakseen oppimaan ja päivittää sitten osittaisia painoja ongelmanratkaisun aikana, jolloin jopa pieni malli pystyy kilpailemaan suurempien kanssa. Vuotaja vihjaa, että nykyinen versio on valmis ja seuraava versio skaalataan kymmenkertaiseksi, ja nykyinen versio saattaa debytoida jo elokuussa rajoitetulle käyttäjämäärälle. Tämä on linjassa Ilyan aikaisempien lausuntojen kanssa jatkuvasta oppimisesta ja AGI:stä, hänen uskomuksestaan, että superälykkyyden tulisi oppia käyttöönoton jälkeen, sekä Nvidian äskettäisestä ilmoituksesta strategisesta kumppanuudesta ja sijoituksesta SSI:hin, mikä kasvatti SSI:n laskentatehoa kertaluokalla. TTT-lähestymistapa eroaa tavanomaisesta kontekstin laajentamisesta, koska se kohtelee kontekstia harjoitusdatana, jolloin malli voi muuttaa itseään päättelyn aikana, mutta se herättää turvallisuusongelmia, jotka vuotajan mukaan Ilya on käsitellyt. SSI, joka perustettiin vuonna 2024, on ollut salamyhkäinen, mutta tämä vuoto viittaa mahdolliseen läpimurtoon. Uutisessa viitataan myös artikkeliin 'End-to-End Test-Time Training for Long Context' liittyvänä työnä.
Lähde: QbitAI 量子位 —
Alkuperäinen