Groq、3週間でLlama-2 70Bの推論性能を2倍に

AI推論ハードウェアとソフトウェアを専門とする企業Groqは、Metaの大規模言語モデルLlama-2 70Bの推論性能をわずか3週間で2倍にしたと発表しました。この大きな性能向上は、基盤となるハードウェアには一切変更を加えず、ソフトウェアの最適化のみで達成されました。同社は、これらの改善により、AIモデルの推論効率を高める自社のソフトウェアスタックの可能性が実証されたと述べています。この進展は、大規模なAIモデルの高速処理を必要とするアプリケーションにとって特に重要です。