Les Transformers Montrent Leur Âge : Les Startups Courent Après la Prochaine Grande Innovation dans les Grands Modèles de Langage, et la Recherche Académique en Intelligence Artificielle Affronte de Nouvelles Réalités

L'article principal de la newsletter traite de la façon dont les transformers, introduits par Google il y a neuf ans, deviennent un goulot d'étranglement dans les LLM en raison de leur mécanisme d'attention dense coûteux et de leur incapacité à gérer de grandes quantités d'informations. Quatre nouvelles approches innovantes sont mises en avant, qui pourraient rendre les LLM plus rapides, plus efficaces et plus intelligents. Un autre article rapporte la réunion du programme AI2050, où des professeurs d'IA négocient les nouvelles réalités de la recherche universitaire, car la plupart sont des chercheurs universitaires. Nvidia a obtenu 500 milliards de dollars de Wall Street, avec des accords de BlackRock, Goldman Sachs et quatre autres, pour l'infrastructure d'IA. Le nouveau manifeste de Mark Zuckerberg prône l'IA open-source pour sauver les États-Unis, et Bernie Sanders a appelé à une pause dans le développement de l'IA. Un tribunal américain permettra à des milliers de poursuites contre les médias sociaux de suivre leur cours pour des mécanismes addictifs. L'introduction en Bourse d'Unitree est massivement sursouscrite, et les caméras de surveillance de voitures de Flock suscitent des réactions négatives. La Chine introduit des règles pour l'IA émotionnellement interactive, un outil d'IA prétend sélectionner les meilleurs 1 % des articles scientifiques, et un homme de 82 ans a refusé 26 millions de dollars pour un centre de données. La newsletter comprend également un reportage sur le désordre éthique du test génétique des embryons.