Multiverse Computing: CompactifAI nearly doubles Llama 3.3 performance on Intel Xeon 6
Multiverse Computing
Meta
Intel Corporation
Multiverse Computing announced that its CompactifAI technology can nearly double the performance of the Llama 3.3 model when running on Intel Xeon 6 processors. The solution uses neural network compression techniques to accelerate inference without significant loss of accuracy.
Multiverse Computing, yapay sinir ağı sıkıştırma teknolojisi CompactifAI'nin, büyük dil modeli Llama 3.3'ün Intel Xeon 6 sunucu işlemcilerinde çalışırken performansını neredeyse iki katına çıkardığını duyurdu. Şirket, CompactifAI'nin kuantumdan esinlenen ve tensör sıkıştırma yöntemlerini kullanarak model boyutunu küçülttüğünü ve çıkarımı hızlandırdığını, aynı zamanda yüksek doğruluğu koruduğunu iddia ediyor. Testler, 288 çekirdekli Intel Xeon 6 platformunda görev tamamlama sürelerinin neredeyse %50 oranında azaldığını ve modelin veri merkezlerinde dağıtım için daha verimli hale geldiğini gösterdi. Intel ve Multiverse Computing, çözümün özel bir donanım gerektirmediğini ve standart Central Processing Unit'lerde (CPU'lar) çalıştığını vurguladı.
Kaynak: Meta AI (GNews) —
orijinal