Google DeepMind considère la mémoire HBF comme clé pour l'inférence en IA

Cette semaine, Sandisk et SK hynix ont dévoilé de la mémoire au standard HBF, qui combine une grande capacité de stockage avec une bande passante d'interface élevée. Ce développement a également été soutenu au niveau du consortium industriel par Tenstorrent et Google, dont les représentants ont noté que le HBF fera ses preuves dans l'inférence. L'inférence désigne le processus consistant à tirer des conclusions à partir de modèles d'IA déjà entraînés. Le HBF, en termes de disposition, ressemble à la mémoire HBM mais, contrairement à celle-ci, il permet un stockage de données à long terme. La capacité de récupérer rapidement des données pour les calculs d'inférence, selon Xiaoyu Ma, chercheur chez Google DeepMind, sera très demandée compte tenu des tendances actuelles des systèmes d'IA. Par conséquent, la demande de HBF de la part des infrastructures de calcul d'IA augmentera également. De plus, il offre une haute efficacité énergétique, ce qui est important pour les opérateurs de centres de données. Cependant, des experts s'inquiètent déjà de l'intensité d'utilisation du HBF dans de tels systèmes, ce qui pourrait théoriquement conduire à une défaillance rapide des puces. Ils suggèrent d'organiser l'infrastructure de manière à ce que le HBF soit utilisé principalement pour la lecture de données, et non pour l'écriture. Pour compenser le déséquilibre de vitesse, le HBF devrait être utilisé en combinaison avec du HBM, qui serait utilisé pour les opérations d'écriture.