Google DeepMind vê memória HBF como chave para inferência de IA

Esta semana, a Sandisk e a SK hynix apresentaram memória do padrão HBF, que combina grande capacidade de armazenamento com alta largura de banda de interface. O desenvolvimento também foi apoiado em nível de consórcio industrial por Tenstorrent e Google, cujos representantes destacaram que o HBF será útil em inferência. Inferência refere-se ao processo de tirar conclusões de modelos de IA já treinados. O HBF, em termos de layout, assemelha-se à memória HBM, mas, ao contrário dela, permite o armazenamento de dados por longo prazo. A capacidade de recuperar rapidamente dados para cálculos de inferência, segundo o pesquisador do Google DeepMind, Xiaoyu Ma, será muito demandada diante das tendências atuais em sistemas de IA. Consequentemente, a demanda por HBF na infraestrutura de computação de IA também crescerá. Além disso, ele oferece alta eficiência energética, o que é importante para operadores de data centers. No entanto, especialistas já estão preocupados com a intensidade de uso do HBF em tais sistemas, o que poderia, teoricamente, levar à falha rápida dos chips. Eles sugerem organizar a infraestrutura para que o HBF seja usado principalmente para leitura de dados, não para escrita. Para compensar o desequilíbrio de velocidade, o HBF deve ser usado em combinação com o HBM, que seria usado para operações de escrita.