Nén mô hình AI của Multiverse Computing tăng tốc suy luận trên phần cứng tiêu chuẩn

Multiverse Computing, một công ty chuyên về điện toán lấy cảm hứng từ lượng tử, đã công bố một phương pháp mới để nén các mô hình AI sử dụng các kỹ thuật phân rã ma trận như phân rã giá trị kỳ dị (singular value decomposition). Phương pháp này giảm kích thước mô hình và yêu cầu tính toán, cho phép các mô hình lớn chạy hiệu quả trên CPU và GPU thông thường. Trong các thử nghiệm, kỹ thuật này đạt được tốc độ suy luận nhanh hơn tới 10 lần trên CPU mà không làm giảm độ chính xác đáng kể. Công ty tuyên bố rằng điều này có thể dân chủ hóa AI bằng cách giảm sự phụ thuộc vào phần cứng chuyên dụng đắt tiền.