Google DeepMind sieht HBF-Speicher als Schlüssel für KI-Inferenz

Diese Woche stellten Sandisk und SK hynix Speicher des HBF-Standards vor, der große Speicherkapazität mit hoher Schnittstellen-Bandbreite verbindet. Die Entwicklung wurde auch auf Ebene des Industriekonsortiums von Tenstorrent und Google unterstützt, deren Vertreter anmerkten, dass sich HBF bei der Inferenz bewähren werde. Inferenz bezeichnet den Prozess, Schlussfolgerungen aus bereits trainierten KI-Modellen zu ziehen. HBF ähnelt in seinem Aufbau dem HBM-Speicher, ermöglicht jedoch im Gegensatz zu diesem eine langfristige Datenspeicherung. Die Fähigkeit, Daten für Inferenzberechnungen schnell abzurufen, werde angesichts aktueller Trends bei KI-Systemen sehr gefragt sein, so Xiaoyu Ma, Forscherin bei Google DeepMind. Folglich werde auch die Nachfrage nach HBF seitens der KI-Recheninfrastruktur wachsen. Zudem bietet es eine hohe Energieeffizienz, was für Betreiber von Rechenzentren wichtig ist. Experten sind jedoch bereits besorgt über die Intensität der HBF-Nutzung in solchen Systemen, was theoretisch zu einem schnellen Ausfall der Chips führen könnte. Sie schlagen vor, die Infrastruktur so zu organisieren, dass HBF hauptsächlich zum Lesen von Daten verwendet wird, nicht zum Schreiben. Um das Geschwindigkeitsungleichgewicht auszugleichen, sollte HBF in Kombination mit HBM eingesetzt werden, das für Schreiboperationen verwendet würde.