AMD thâu tóm Taalas: startup đốt mô hình AI vào chip để suy luận nhanh

AMD đang mua lại công ty khởi nghiệp AI của Canada là Taalas, chuyên sản xuất chip suy luận chuyên dụng. Được thành lập vào năm 2023 tại Toronto, Taalas mới công khai hoạt động vào tháng 2. Công ty khởi nghiệp này nhúng cấu trúc và các tham số đã học của mô hình AI trực tiếp vào chip, giúp quá trình suy luận cực kỳ nhanh, nhưng chip chỉ chạy được một mô hình duy nhất. Một chip demo đã đạt hơn 16.000 token mỗi giây cho mỗi người dùng với Llama3.1-8B, nhanh hơn nhiều lần so với các chip cạnh tranh hiện tại. Google được cho là cũng đang phát triển loại chip như vậy cho các mô hình Gemini của mình. AMD muốn tích hợp công nghệ này vào lộ trình tăng tốc của mình và cung cấp nó cùng với GPU Instinct như một giải pháp hệ thống. Theo Vamsi Boppana, Phó Chủ tịch cấp cao của bộ phận AI của AMD, thương vụ này giúp củng cố danh mục AI. Đồng sáng lập Taalas, Ljubisa Bajic, cho biết AMD mang lại quy mô và phạm vi tiếp cận cần thiết. Thương vụ này phụ thuộc vào sự chấp thuận theo thông lệ.