Multiverse Computing: CompactifAI가 Intel Xeon 6에서 Llama 3.3 성능을 거의 두 배로 향상

Multiverse Computing는 자사의 CompactifAI 기술이 Intel Xeon 6 프로세서에서 Meta의 Llama 3.3 대규모 언어 모델의 성능을 거의 두 배로 향상시켰다고 발표했습니다. 이 최적화는 정확도를 희생하지 않으면서 추론 속도를 크게 개선합니다. CompactifAI는 양자에서 영감을 받은 알고리즘을 사용하여 AI 모델을 압축하고 가속화합니다. 이번 개발로 표준 서버 하드웨어에서 LLM을 보다 효율적으로 배포할 수 있게 되었습니다.