Google DeepMind considera la memoria HBF clave para la inferencia de IA

Esta semana, Sandisk y SK hynix presentaron memoria del estándar HBF, que combina gran capacidad de almacenamiento con alto ancho de banda de interfaz. El desarrollo también recibió apoyo a nivel de consorcio industrial por parte de Tenstorrent y Google, cuyos representantes señalaron que HBF demostrará su valía en inferencia. La inferencia se refiere al proceso de extraer conclusiones de modelos de IA ya entrenados. HBF, en cuanto a su disposición, se asemeja a la memoria HBM pero, a diferencia de esta, permite el almacenamiento de datos a largo plazo. La capacidad de recuperar rápidamente datos para cálculos de inferencia, según el investigador de Google DeepMind, Xiaoyu Ma, será muy demandada dadas las tendencias actuales en sistemas de IA. En consecuencia, la demanda de HBF por parte de la infraestructura de computación de IA también crecerá. Además, ofrece alta eficiencia energética, lo cual es importante para los operadores de centros de datos. Sin embargo, los expertos ya están preocupados por la intensidad del uso de HBF en tales sistemas, lo que teóricamente podría provocar un fallo rápido de los chips. Sugieren organizar la infraestructura para que HBF se use principalmente para leer datos, no para escribirlos. Para compensar el desequilibrio de velocidad, HBF debería usarse en combinación con HBM, que se emplearía para operaciones de escritura.