Google DeepMind melihat memori HBF sebagai kunci untuk inferensi AI

Minggu ini, Sandisk dan SK hynix meluncurkan memori dengan standar HBF, yang menggabungkan kapasitas penyimpanan besar dengan bandwidth antarmuka tinggi. Pengembangan ini juga didukung di tingkat konsorsium industri oleh Tenstorrent dan Google, yang perwakilannya mencatat bahwa HBF akan terbukti unggul dalam inferensi. Inferensi merujuk pada proses menarik kesimpulan dari model AI yang telah dilatih. HBF, dari segi tata letak, mirip dengan memori HBM tetapi, tidak seperti itu, memungkinkan penyimpanan data jangka panjang. Kemampuan untuk mengambil data dengan cepat untuk komputasi inferensi, menurut peneliti Google DeepMind, Xiaoyu Ma, akan sangat diminati mengingat tren terkini dalam sistem AI. Akibatnya, permintaan akan HBF dari infrastruktur komputasi AI juga akan tumbuh. Selain itu, HBF menyediakan efisiensi energi yang tinggi, yang penting bagi operator pusat data. Namun, para ahli sudah khawatir tentang intensitas penggunaan HBF dalam sistem semacam itu, yang secara teoritis dapat menyebabkan kegagalan chip dengan cepat. Mereka menyarankan untuk mengatur infrastruktur sehingga HBF digunakan terutama untuk membaca data, bukan menulis. Untuk mengkompensasi ketidakseimbangan kecepatan, HBF harus digunakan dalam kombinasi dengan HBM, yang akan digunakan untuk operasi penulisan.