Große Tabellenmodelle übertreffen LLMs bei strukturierten Daten

Eine neue Art generativer KI, das große Tabellenmodell (LTM), entsteht, um strukturierte Daten wie Tabellenkalkulationen zu verarbeiten, mit denen große Sprachmodelle (LLMs) Schwierigkeiten haben. Das Startup Fundamental hat NEXUS veröffentlicht, ein LTM, das von AWS übernommen wurde, während Google und andere Mitbewerber eigene Modelle herausgebracht haben. LTMs modellieren tabellarische Daten direkt und ermöglichen genaue Vorhersagen ohne die sequenziellen Einschränkungen von LLMs.

Google/DeepMind Feedzai Mastercard Amazon Web Services

Mamba: Die Architektur, die Transformers besiegen sollte

Die Mamba-Architektur, basierend auf selektiven Zustandsräumen (SSM), wurde als Alternative zu Transformatoren eingeführt und versprach lineare anstatt quadratischer Komplexität. In der Praxis hat Mamba Transformatoren jedoch nicht ersetzt, sondern fand Eingang in Hybridmodelle, bei denen es mit Aufmerksamkeitsschichten kombiniert wird: etwa eine Aufmerksamkeitsschicht auf sieben Mamba-Schichten.

Moonshot AI