Google DeepMind ziet HBF-geheugen als sleutel tot AI-inferentie

Deze week presenteerden Sandisk en SK hynix geheugen van de HBF-standaard, dat grote opslagcapaciteit combineert met hoge interfacebandbreedte. De ontwikkeling werd ook op het niveau van het industriële consortium gesteund door Tenstorrent en Google, waarvan de vertegenwoordigers opmerkten dat HBF zich zal bewijzen bij inferentie. Inferentie verwijst naar het proces van het trekken van conclusies uit reeds getrainde AI-modellen. HBF lijkt qua indeling op HBM-geheugen, maar kan in tegenstelling daarmee gegevens langdurig opslaan. De mogelijkheid om snel gegevens op te halen voor inferentieberekeningen zal volgens Xiaoyu Ma, onderzoeker bij Google DeepMind, zeer gewild zijn gezien de huidige trends in AI-systemen. Daardoor zal ook de vraag naar HBF vanuit AI-computerinfrastructuur toenemen. Bovendien biedt het een hoge energie-efficiëntie, wat belangrijk is voor datacenterbeheerders. Experts maken zich echter al zorgen over de intensiteit van het gebruik van HBF in dergelijke systemen, wat theoretisch kan leiden tot een snelle uitval van de chips. Zij adviseren de infrastructuur zo te organiseren dat HBF voornamelijk wordt gebruikt voor het lezen van gegevens, niet voor het schrijven. Om de snelheidsongelijkheid te compenseren, moet HBF worden gebruikt in combinatie met HBM, dat dan voor schrijfbewerkingen zou worden ingezet.