Groq, 3주 만에 Llama-2 70B 추론 성능 2배 향상

AI 추론 하드웨어 및 소프트웨어 전문 기업인 Groq가 메타(Meta)의 대규모 언어 모델 '라마 2(Llama-2) 70B'의 추론 성능을 단 3주 만에 두 배로 끌어올렸다고 발표했습니다. 이러한 상당한 성능 향상은 하드웨어 변경 없이 오직 소프트웨어 최적화만으로 달성되었습니다. 회사는 이러한 개선이 대규모 AI 모델의 추론 효율성을 높이는 데 있어 자사의 소프트웨어 스택이 지닌 잠재력을 보여준다고 밝혔습니다. 이번 개발은 대규모 AI 모델의 고속 처리가 요구되는 애플리케이션에 특히 관련이 있습니다.