Multiverse Computing: CompactifAI nearly doubles Llama 3.3 performance on Intel Xeon 6

Multiverse Computing은 자사의 신경망 압축 기술인 CompactifAI를 통해 대규모 언어 모델 Llama 3.3이 Intel Xeon 6 서버 프로세서에서 실행될 때 성능을 거의 두 배 향상시킬 수 있다고 발표했다. 회사는 CompactifAI가 양자 영감 및 텐서 압축 방법을 적용하여 모델 크기를 줄이고 추론 속도를 높이는 동시에 높은 정확도를 유지한다고 주장한다. 테스트 결과, 288코어 Intel Xeon 6 플랫폼에서 작업 실행 시간이 거의 50% 단축되어 데이터 센터 배포에 더 효율적인 모델이 되었다. Intel과 Multiverse Computing은 이 솔루션이 특별한 하드웨어를 필요로 하지 않으며 표준 CPU에서 작동한다고 강조했다.