Google DeepMind、AI推論の鍵となるHBFメモリに期待

今週、SandiskとSK hynixは、大容量ストレージと高いインターフェース帯域幅を組み合わせたHBF標準のメモリを発表しました。この開発は、業界コンソーシアムレベルでもTenstorrentとGoogleが支持しており、その代表者たちは、HBFが推論においてその価値を発揮すると述べています。推論とは、既にトレーニング済みのAIモデルから結論を導き出すプロセスを指します。HBFは、レイアウト的にはHBMメモリに似ていますが、それとは異なり、長期的なデータ保存が可能です。推論計算のためのデータを迅速に取得できる能力は、Google DeepMindの研究者であるXiaoyu Ma氏によれば、現在のAIシステムのトレンドを考慮すると、非常に需要が高まるとのことです。その結果、AIコンピューティングインフラからのHBFへの需要も高まるでしょう。さらに、HBFは高いエネルギー効率を提供し、これはデータセンターの運用者にとって重要です。しかし、専門家はすでに、このようなシステムでのHBFの使用頻度が高いことによる、チップの急速な故障の可能性を懸念しています。彼らは、HBFが主にデータの読み取りに使用され、書き込みには使用されないようにインフラを組織することを提案しています。速度の不均衡を補うために、HBFは書き込み操作に使用されるHBMと組み合わせて使用するべきです。