Google DeepMind 认为 HBF 内存是 AI 推理的关键

本周，闪迪和SK海力士发布了符合HBF标准的内存，该内存兼具大存储容量和高接口带宽。这一进展也得到了行业联盟层面Tenstorrent和谷歌的支持，两家公司的代表指出，HBF将在推理领域展现其价值。推理指的是利用已训练好的人工智能模型得出结论的过程。HBF在布局上类似于HBM内存，但不同于HBM的是，它支持长期数据存储。根据谷歌DeepMind研究员马晓宇的说法，考虑到当前AI系统的发展趋势，能够快速检索数据进行推理计算的能力将非常受欢迎。因此，AI计算基础设施对HBF的需求也将增长。此外，HBF还能提供高能效，这对于数据中心运营商来说非常重要。然而，专家们已经对HBF在此类系统中的使用强度表示担忧，这理论上可能导致芯片快速故障。他们建议组织基础设施时，让HBF主要用于读取数据而非写入。为弥补速度上的不平衡，HBF应与HBM结合使用，其中HBM负责写入操作。