AMD ja Cerebras yhdistävät voimansa kehittääkseen erittäin matalan latenssin tekoälypäättelyalustan
Cerebras Systems
NVIDIA
AMD ja Cerebras Systems luovat laskenta-alustan, joka yhdistää AMD Instinct -kiihdyttimet ja Cerebras WSE -sirut, jotka perustuvat SRAM-muistiin, mahdollistaen tekoälyagenttien matalan latenssin päättelyn. Ratkaisu, joka on saatavilla Cerebras Cloudissa tänä vuonna, tuottaa viisi kertaa enemmän tokeneita wattia kohden ja vaatii vähemmän siruja kuin kilpailijoiden vastaavat järjestelmät.
AMD и Cerebras Systems объявили о совместной разработке вычислительной платформы, которая сочетает ускорители AMD Instinct и чипы Cerebras Wafer Scale Engine (WSE) со встроенной памятью SRAM. Платформа предназначена для инференса ИИ-агентов — этапа, требующего большого объёма быстрой памяти. По словам главы Cerebras Эндрю Фельдмана, проект закрывает пробел в портфеле AMD, возникший после покупки Nvidia стартапа Groq за $20 млрд. Чипы Cerebras WSE используют SRAM вместо HBM4, что обеспечивает скорость генерации более 2000 токенов в секунду. В гибридной системе сложные запросы обрабатываются на ускорителях AMD Instinct, а генерация токенов делегируется Cerebras WSE, что повышает энергоэффективность в пять раз (токенов на ватт). Для сравнения: для обслуживания модели Kimi K2.5 (1 трлн параметров) требуется две тысячи чипов Groq, а в системе AMD и Cerebras — всего несколько десятков. Объединённое решение станет доступно в Cerebras Cloud до конца года.
Lähde: 3DNews —
Alkuperäinen