Vera CPU от Nvidia: рост производительности ИИ-агентов и поддержка высоконагруженного вывода

21 июля Nvidia заявила, что тесты на AI-облачной платформе DeepInfra показали: по сравнению с другими CPU, Vera CPU обеспечивает до 2,2-кратного увеличения скорости оркестровки в рабочих нагрузках ИИ-агентов и поддерживает до 1,6-кратного увеличения числа одновременно работающих агентов. DeepInfra сообщила, что её платформа еженедельно обрабатывает почти 5 триллионов токенов, из которых около 30% приходится на агентные приложения. Nvidia отметила, что с ростом задач ИИ-агентов по рассуждению, планированию и вызову инструментов эффективность планирования CPU при вызове моделей становится важным фактором производительности инфраструктуры ИИ. Кроме того, Nvidia объявила, что платформа Vera Rubin для «гигамасштабных AI-фабрик» расширяет развёртывание по всему миру: CoreWeave, Google Cloud, Microsoft Azure и Oracle Cloud уже начали использовать систему Vera Rubin NVL72. Nvidia заявила, что тесты CoreWeave показали: Vera Rubin NVL72 по сравнению с Grace Blackwell NVL72 обеспечивает 10-кратный рост пропускной способности токенов на мегаватт.