AMD und Cerebras entwickeln gemeinsam eine Plattform für KI-Inferenz mit extrem niedriger Latenz
Cerebras Systems
NVIDIA
AMD und Cerebras Systems entwickeln eine Computerplattform, die AMD Instinct-Beschleuniger mit Cerebras WSE-Chips kombiniert, die auf SRAM-Speicher basieren, für die latenzarme Inferenz von KI-Agenten. Die Lösung, die in diesem Jahr in der Cerebras Cloud verfügbar sein wird, erzeugt fünfmal mehr Token pro Watt und benötigt weniger Chips als ähnliche Systeme von Wettbewerbern.
AMD и Cerebras Systems объявили о совместной разработке вычислительной платформы, которая сочетает ускорители AMD Instinct и чипы Cerebras Wafer Scale Engine (WSE) со встроенной памятью SRAM. Платформа предназначена для инференса ИИ-агентов — этапа, требующего большого объёма быстрой памяти. По словам главы Cerebras Эндрю Фельдмана, проект закрывает пробел в портфеле AMD, возникший после покупки Nvidia стартапа Groq за $20 млрд. Чипы Cerebras WSE используют SRAM вместо HBM4, что обеспечивает скорость генерации более 2000 токенов в секунду. В гибридной системе сложные запросы обрабатываются на ускорителях AMD Instinct, а генерация токенов делегируется Cerebras WSE, что повышает энергоэффективность в пять раз (токенов на ватт). Для сравнения: для обслуживания модели Kimi K2.5 (1 трлн параметров) требуется две тысячи чипов Groq, а в системе AMD и Cerebras — всего несколько десятков. Объединённое решение станет доступно в Cerebras Cloud до конца года.
Quelle: 3DNews —
Original