Transformer Mulai Usang: Startup Mengejar Inovasi Besar Berikutnya dalam LLM, dan Riset Akademik AI Menghadapi Realitas Baru

Kisah utama dalam buletin ini membahas bagaimana transformer, yang diperkenalkan oleh Google sembilan tahun lalu, menjadi hambatan dalam model bahasa besar (LLM) karena mekanisme perhatian padatnya yang mahal dan ketidakmampuannya menangani informasi dalam jumlah besar. Empat pendekatan inovatif baru disorot yang dapat membuat LLM lebih cepat, lebih efisien, dan lebih cerdas. Artikel lain melaporkan tentang pertemuan program AI2050, di mana para profesor AI bernegosiasi dengan realitas baru penelitian akademis, karena sebagian besar adalah peneliti universitas. Nvidia telah mengamankan 500 miliar dolar dari Wall Street, dengan kesepakatan dari BlackRock, Goldman Sachs, dan empat lainnya, untuk infrastruktur AI. Manifesto baru Mark Zuckerberg menganjurkan AI sumber terbuka untuk menyelamatkan AS, dan Bernie Sanders telah menyerukan jeda pada pengembangan AI. Pengadilan AS akan mengizinkan ribuan gugatan media sosial untuk dilanjutkan terhadap mekanisme adiktif. Penawaran umum perdana (IPO) Unitree kelebihan permintaan secara masif, dan kamera pelacak mobil Flock menghadapi reaksi balik. China memperkenalkan aturan untuk AI interaktif emosional, alat AI mengklaim dapat memilih 1% makalah ilmiah terbaik, dan seorang pria berusia 82 tahun menolak 26 juta dolar untuk pusat data. Buletin ini juga menyertakan fitur tentang kekacauan etika pengujian genetik embrio.