Multiverse Computing: CompactifAI nearly doubles Llama 3.3 performance on Intel Xeon 6

Multiverse Computing thông báo rằng công nghệ nén mạng nơ-ron CompactifAI của họ giúp tăng gần gấp đôi hiệu suất của mô hình ngôn ngữ lớn Llama 3.3 khi chạy trên bộ xử lý máy chủ Intel Xeon 6. Công ty khẳng định CompactifAI sử dụng các phương pháp nén lấy cảm hứng từ lượng tử và nén tensor để giảm kích thước mô hình và tăng tốc suy luận, đồng thời vẫn duy trì độ chính xác cao. Thử nghiệm cho thấy trên nền tảng Intel Xeon 6 với 288 lõi, thời gian thực thi tác vụ giảm gần 50%, giúp mô hình hiệu quả hơn khi triển khai trong các trung tâm dữ liệu. Intel và Multiverse Computing nhấn mạnh rằng giải pháp này không yêu cầu phần cứng đặc biệt và hoạt động trên các CPU tiêu chuẩn.