Groq tăng gấp đôi hiệu suất suy luận của Llama-2 70B chỉ trong 3 tuần

Groq, một công ty chuyên về phần cứng và phần mềm suy luận AI, đã công bố rằng họ đã tăng gấp đôi hiệu suất suy luận của mô hình ngôn ngữ lớn Llama-2 70B của Meta chỉ trong ba tuần. Sự cải thiện hiệu suất đáng kể này đạt được chỉ nhờ vào tối ưu hóa phần mềm, mà không có bất kỳ thay đổi nào về phần cứng bên dưới. Công ty tuyên bố rằng những cải tiến này chứng minh tiềm năng của ngăn xếp phần mềm của họ trong việc nâng cao hiệu quả suy luận mô hình AI. Sự phát triển này đặc biệt liên quan đến các ứng dụng yêu cầu xử lý tốc độ cao của các mô hình AI lớn.