Multiverse ComputingのCompactifAI、Intel Xeon 6上でLlama 3.3のパフォーマンスをほぼ2倍に

Multiverse Computingは、同社のCompactifAI技術により、Intel Xeon 6プロセッサ上でMetaの大規模言語モデルLlama 3.3の性能がほぼ2倍になったと発表しました。この最適化により、精度を犠牲にすることなく推論速度が大幅に向上します。CompactifAIは量子に着想を得たアルゴリズムを使用して、AIモデルの圧縮と高速化を実現します。この開発により、標準的なサーバーハードウェア上でのLLMのより効率的な展開が可能になります。