Groq, Llama-2 70B çıkarım performansını 3 haftada ikiye katladı
Meta
Groq
Groq şirketi, Llama-2 70B modeli için çıkarım performansını sadece üç hafta içinde iki katına çıkardığını duyurdu. İyileştirme, donanım ve yazılım optimizasyonu sayesinde elde edildi. Sistem artık tek akışta saniyede 1250'den fazla token işliyor.
Yapay zeka çıkarım donanımı ve yazılımı konusunda uzmanlaşmış Groq, Meta'nın Llama-2 70B büyük dil modelinin çıkarım performansını sadece üç hafta içinde iki katına çıkardığını duyurdu. Bu önemli performans artışı, altta yatan donanımda hiçbir değişiklik yapılmadan yalnızca yazılım optimizasyonlarıyla elde edildi. Şirket, bu iyileştirmelerin, yazılım yığınlarının yapay zeka modeli çıkarımının verimliliğini artırma potansiyelini gösterdiğini belirtiyor. Bu gelişme, özellikle büyük yapay zeka modellerinin yüksek hızda işlenmesini gerektiren uygulamalar için önem taşıyor.
Kaynak: Meta AI (GNews) —
orijinal