Startupit jahtaavat seuraavaa suurta asiaa LLM-mallien saralla

Vuonna 2017 julkaistussa Google-tutkimuspaperissa esitellyt transformerialgoritmit ovat jokaisen merkittävän suuren kielimallin perusta, mutta niiden tiheä huomiomekanismi on laskennallisesti kallista ja kamppailee pitkien kontekstien kanssa. Startup-yritykset tarttuvat näihin puutteisiin: Subquadratic väittää harvaan huomioon perustuvan SubQ-mallinsa kilpailevan valtavirran kielimallien kanssa; Manifest AI korvaa huomion 'tehon säilytyksellä' ja on julkaissut PowerCoderin ja Brumbyn; Liquid AI yhdistää transformerialgoritmit nestemäisiin neuroverkkoihin luodakseen hybridisiä LFM-malleja (nestemäisiä perusmalleja), jotka ovat pienempiä ja energiatehokkaampia; Inception käyttää diffuusiomenetelmää tuottaakseen kokonaisia tekstilohkoja kerralla, ja sen Mercury 2 -malli väitetään olevan 10 kertaa nopeampi kuin GPT-4; ja Pathwayn 'Dragon Hatchling' -malli loistaa sudokutehtävissä, mikä viittaa siirtymiseen kielen ulkopuolelle. Nämä startupit näkevät mahdollisuuden muuttaa tapaa, jolla suuria kielimalleja rakennetaan, ja niillä on potentiaalia merkittäviin parannuksiin nopeudessa, tehokkuudessa ja kyvykkyydessä.