Google DeepMind, HBF 메모리를 AI 추론의 핵심으로 꼽아

이번 주 Sandisk와 SK hynix는 대용량 저장 용량과 높은 인터페이스 대역폭을 결합한 HBF 표준의 메모리를 공개했습니다. 이러한 개발은 업계 컨소시엄 차원에서도 Tenstorrent와 Google의 지지를 받았으며, 이들 대표는 HBF가 추론(inference) 분야에서 그 가치를 입증할 것이라고 언급했습니다. 추론이란 이미 훈련된 AI 모델로부터 결론을 도출하는 과정을 말합니다. HBF는 레이아웃 측면에서 HBM 메모리와 유사하지만, HBM과 달리 장기 데이터 저장이 가능합니다. Google DeepMind 연구원 Xiaoyu Ma에 따르면, 추론 계산을 위해 데이터를 빠르게 검색할 수 있는 능력은 현재 AI 시스템의 추세를 고려할 때 매우 수요가 높을 것이라고 합니다. 따라서 AI 컴퓨팅 인프라에서 HBF에 대한 수요도 증가할 것입니다. 또한 HBF는 높은 에너지 효율을 제공하며, 이는 데이터 센터 운영자에게 중요합니다. 하지만 전문가들은 이미 이러한 시스템에서 HBF의 집약적인 사용이 이론적으로 칩의 급속한 고장으로 이어질 수 있다는 우려를 표명하고 있습니다. 그들은 HBF가 주로 데이터 쓰기가 아닌 읽기에 사용되도록 인프라를 구성할 것을 제안합니다. 속도 불균형을 보완하기 위해 HBF는 쓰기 작업에 사용될 HBM과 함께 사용해야 합니다.