Google DeepMind xem bộ nhớ HBF là chìa khóa cho suy luận AI

Tuần này, Sandisk và SK hynix đã công bố bộ nhớ theo tiêu chuẩn HBF (High Bandwidth Flash - Flash băng thông cao), kết hợp dung lượng lưu trữ lớn với băng thông giao tiếp cao. Sự phát triển này cũng được hậu thuẫn ở cấp độ hiệp hội ngành bởi Tenstorrent và Google, khi đại diện của các công ty này nhận định rằng HBF sẽ chứng tỏ giá trị của mình trong tác vụ suy luận (inference). Suy luận là quá trình rút ra kết luận từ các mô hình AI đã được huấn luyện. Về mặt cấu trúc, HBF có nhiều điểm tương đồng với bộ nhớ HBM (High Bandwidth Memory - Bộ nhớ băng thông cao), nhưng khác ở chỗ nó cho phép lưu trữ dữ liệu lâu dài. Theo nhà nghiên cứu Xiaoyu Ma của Google DeepMind, khả năng truy xuất dữ liệu nhanh chóng phục vụ cho các phép tính suy luận sẽ rất được ưa chuộng trước các xu hướng hiện nay trong hệ thống AI. Do đó, nhu cầu đối với HBF từ hạ tầng tính toán AI cũng sẽ tăng theo. Ngoài ra, loại bộ nhớ này còn mang lại hiệu suất năng lượng cao, một yếu tố quan trọng đối với các nhà vận hành trung tâm dữ liệu. Tuy nhiên, các chuyên gia đã bày tỏ lo ngại về cường độ sử dụng HBF trong những hệ thống như vậy, vì về mặt lý thuyết điều này có thể dẫn đến việc chip nhanh chóng hỏng hóc. Họ đề xuất tổ chức hạ tầng sao cho HBF chủ yếu được dùng để đọc dữ liệu, thay vì ghi dữ liệu. Để bù đắp cho sự mất cân bằng về tốc độ, HBF nên được sử dụng kết hợp với HBM, trong đó HBM sẽ đảm nhiệm các thao tác ghi.