Startups jagen op de volgende grote doorbraak in LLM's
Liquid AI
Een golf van startups probeert de beperkingen van transformers te overwinnen, de technologie die ten grondslag ligt aan de huidige LLM's. Zij stellen nieuwe architecturen en technieken voor om modellen sneller, efficiënter en mogelijk slimmer te maken, met als doel de AI-giganten van de troon te stoten.
Transformers, geïntroduceerd in een Google-paper uit 2017, vormen de motor achter elk groot taalmodel, maar hun dichte aandachtsmechanisme is rekenkundig duur en heeft moeite met lange contexten. Startups pakken deze tekortkomingen aan: Subquadratic beweert dat zijn sparse attention-model SubQ concurreert met reguliere LLM's; Manifest AI vervangt attention door 'power retention' en heeft PowerCoder en Brumby uitgebracht; Liquid AI combineert transformers met vloeibare neurale netwerken om hybride LFM's (liquid foundation-modellen) te creëren die kleiner en energiezuiniger zijn; Inception gebruikt diffusie om hele tekstblokken in één keer te genereren, en beweert dat het Mercury 2-model 10 keer sneller is dan GPT-4; en het 'Dragon Hatchling'-model van Pathway blinkt uit in sudoku-puzzels, wat suggereert dat het verder gaat dan taal. Deze startups zien een kans om de manier waarop LLM's worden gebouwd te veranderen, met potentieel aanzienlijke winsten op het gebied van snelheid, efficiëntie en capaciteit.
Bron: MIT Technology Review —
origineel