AMD mengakuisisi Taalas: startup ini membakar model AI ke dalam chip untuk inferensi cepat

AMD mengakuisisi startup AI asal Kanada, Taalas, yang membuat chip inferensi khusus. Didirikan pada tahun 2023 di Toronto, Taalas muncul dari mode siluman pada bulan Februari. Startup ini menanamkan struktur dan parameter yang dipelajari dari model AI langsung ke dalam chip, membuat inferensi sangat cepat, tetapi chip tersebut hanya dapat menjalankan satu model. Chip demo mencapai lebih dari 16.000 token per detik per pengguna dengan Llama3.1-8B, beberapa kali lebih cepat daripada chip pesaing saat ini. Google dilaporkan juga sedang mengerjakan chip semacam itu untuk model Gemini-nya. AMD ingin mengintegrasikan teknologi tersebut ke dalam peta jalan akseleratornya dan menawarkannya bersama dengan GPU Instinct sebagai solusi sistem. Menurut Vamsi Boppana, Wakil Presiden Senior divisi AI AMD, akuisisi ini memperkuat portofolio AI. Salah satu pendiri Taalas, Ljubisa Bajic, mengatakan AMD menawarkan skala dan jangkauan yang diperlukan. Akuisisi ini tunduk pada persetujuan yang lazim.