Bản tin · tháng qua

1. NVIDIA Groq 3: SRAM, Phân tách và Tính tất yếu trong Nền tảng AI Mới
   Thương vụ NVIDIA mua lại Groq trị giá 20 tỷ đô la Mỹ đã dẫn đến việc tích hợp các bộ tăng tốc LPU vào nền tảng Vera Rubin, cho phép suy luận AI không đồng nhất và phân tách. Hệ thống rack Groq 3 LPX mới kết hợp 256 LPU để tạo token nhanh, tất yếu, trong khi Vera Rubin NVL72 xử lý đào tạo và suy luận linh hoạt. Nền tảng này hướng đến AI tương tác độ trễ thấp và khối lượng công việc đa tác tử, hứa hẹn hiệu suất nhanh hơn tới 35 lần so với Grace Blackwell NVL72 ở tốc độ 400 token mỗi giây cho mỗi người dùng.