Startups jagen den nächsten großen Wurf bei LLMs
Liquid AI
Eine Welle von Startups versucht, die Grenzen von Transformatoren zu überwinden, der Technologie, die heutigen LLMs zugrunde liegt. Sie schlagen neue Architekturen und Techniken vor, um Modelle schneller, effizienter und möglicherweise intelligenter zu machen, mit dem Ziel, die KI-Giganten zu entthronen.
Transformers, die in einem Google-Papier von 2017 eingeführt wurden, treiben jedes große Sprachmodell an, aber ihr dichter Aufmerksamkeitsmechanismus ist rechenintensiv und hat Probleme mit langen Kontexten. Startups gehen diese Schwachstellen an: Subquadratic behauptet, dass sein Modell mit spärlicher Aufmerksamkeit, SubQ, mit gängigen LLMs mithalten kann; Manifest AI ersetzt Aufmerksamkeit durch 'Power Retention' und hat PowerCoder und Brumby veröffentlicht; Liquid AI kombiniert Transformers mit flüssigen neuronalen Netzen, um hybride LFMs (flüssige Fundamentalmodelle) zu schaffen, die kleiner und energieeffizienter sind; Inception nutzt Diffusion, um ganze Textblöcke auf einmal zu generieren, wobei sein Mercury-2-Modell angeblich zehnmal schneller als GPT-4 sein soll; und Pathways 'Dragon Hatchling'-Modell glänzt bei Sudoku-Rätseln, was auf einen Schritt über die Sprache hinaus hindeutet. Diese Startups sehen eine Gelegenheit, die Art und Weise zu verändern, wie LLMs gebaut werden, mit dem Potenzial für erhebliche Fortschritte in Geschwindigkeit, Effizienz und Leistungsfähigkeit.
Quelle: MIT Technology Review —
Original