Multiverse Computing: CompactifAI gần như tăng gấp đôi hiệu suất của Llama 3.3 trên Intel Xeon 6

Multiverse Computing công bố công nghệ CompactifAI của họ giúp tăng gần gấp đôi hiệu suất của mô hình ngôn ngữ lớn Llama 3.3 của Meta trên bộ xử lý Intel Xeon 6. Việc tối ưu hóa này đạt được tốc độ suy luận nhanh hơn đáng kể mà không làm giảm độ chính xác. CompactifAI sử dụng các thuật toán lấy cảm hứng từ lượng tử để nén và tăng tốc các mô hình AI. Phát triển này cho phép triển khai các mô hình ngôn ngữ lớn hiệu quả hơn trên các máy chủ phần cứng tiêu chuẩn.