Transformer zeigen ihr Alter: Startups jagen das nächste große Ding bei LLMs, und die KI-Forschung steht vor neuen Realitäten

Der Leitartikel des Newsletters thematisiert, wie Transformatoren, die vor neun Jahren von Google eingeführt wurden, aufgrund ihrer teuren dichten Aufmerksamkeitsmechanik und ihrer Unfähigkeit, große Informationsmengen zu verarbeiten, zunehmend zum Engpass in großen Sprachmodellen (LLMs) werden. Vier neue innovative Ansätze werden hervorgehoben, die LLMs schneller, effizienter und intelligenter machen könnten. Ein weiterer Artikel berichtet über das Treffen des AI2050-Programms, bei dem KI-Professoren über neue Realitäten der akademischen Forschung verhandeln, da die meisten von ihnen Universitätsforscher sind. Nvidia hat sich 500 Milliarden Dollar von der Wall Street gesichert, mit Deals von BlackRock, Goldman Sachs und vier weiteren Unternehmen, für KI-Infrastruktur. Mark Zuckerbergs neues Manifest plädiert für Open-Source-KI, um die USA zu retten, und Bernie Sanders hat eine Pause bei der KI-Entwicklung gefordert. Ein US-Gericht wird Tausende von Social-Media-Klagen gegen suchterzeugende Mechanismen zulassen. Der Börsengang von Unitree ist massiv überzeichnet, und Flocks Auto-Tracking-Kameras stoßen auf Gegenwind. China führt Regeln für emotional interaktive KI ein, ein KI-Tool behauptet, die besten 1% der wissenschaftlichen Arbeiten auszuwählen, und ein 82-Jähriger lehnte 26 Millionen Dollar für ein Rechenzentrum ab. Der Newsletter enthält auch einen Beitrag über das ethische Dilemma der genetischen Embryotests.