Groq Menggandakan Performa Inferensi Llama-2 70B dalam 3 Minggu
Meta
Groq
Perusahaan Groq mengumumkan peningkatan dua kali lipat dalam performa inferensi untuk model Llama-2 70B hanya dalam waktu tiga minggu. Peningkatan ini dicapai melalui optimasi perangkat keras dan perangkat lunak. Sekarang sistem memproses lebih dari 1250 token per detik per aliran.
Groq, perusahaan yang mengkhususkan diri dalam perangkat keras dan perangkat lunak inferensi AI, telah mengumumkan bahwa mereka telah menggandakan kinerja inferensi model bahasa besar Llama-2 70B milik Meta hanya dalam tiga minggu. Peningkatan kinerja yang signifikan ini dicapai hanya melalui optimasi perangkat lunak, tanpa perubahan apa pun pada perangkat keras yang mendasarinya. Perusahaan menyatakan bahwa peningkatan ini menunjukkan potensi tumpukan perangkat lunak mereka untuk meningkatkan efisiensi inferensi model AI. Perkembangan ini sangat relevan untuk aplikasi yang membutuhkan pemrosesan berkecepatan tinggi dari model AI yang besar.
Sumber: Meta AI (GNews) —
asli