Startup Berlomba Mengejar Inovasi Besar Berikutnya dalam LLM
Liquid AI
Gelombang startup berusaha mengatasi keterbatasan transformer, teknologi yang mendasari LLM saat ini. Mereka mengusulkan arsitektur dan teknik baru untuk membuat model lebih cepat, lebih efisien, dan berpotensi lebih cerdas, dengan tujuan menyaingi raksasa AI.
Transformer, yang diperkenalkan dalam sebuah makalah Google pada tahun 2017, menjadi mesin di balik semua model bahasa besar utama, tetapi mekanisme attention padatnya mahal secara komputasi dan kesulitan dengan konteks panjang. Para startup menangani kekurangan ini: Subquadratic mengklaim model attention sparse-nya, SubQ, menyaingi model LLM arus utama; Manifest AI mengganti attention dengan 'power retention' dan telah merilis PowerCoder dan Brumby; Liquid AI menggabungkan transformer dengan jaringan saraf cair untuk menciptakan LFM (model dasar cair) hibrida yang lebih kecil dan lebih hemat energi; Inception menggunakan difusi untuk menghasilkan blok teks utuh sekaligus, dengan model Mercury 2 yang diklaim 10 kali lebih cepat daripada GPT-4; dan model 'Dragon Hatchling' milik Pathway unggul dalam teka-teki sudoku, menunjukkan langkah melampaui bahasa. Para startup ini melihat peluang untuk mengubah cara LLM dibangun, dengan potensi peningkatan signifikan dalam kecepatan, efisiensi, dan kemampuan.
Sumber: MIT Technology Review —
asli