Silk: инфраструктура данных для ИИ-инференса должна быть принципиально иной
По мере того как ИИ-агенты эволюционируют от чат-ботов к автономным многошаговым рабочим процессам, нагрузка на инференс перегружает традиционные облачные хранилища (AWS EBS) из-за экстремальной конкурентности, всплесков чтения и задержек на хвосте. Silk выступает за программно-определяемое хранилище, которое отделяет производительность от емкости, чтобы справляться с такими нагрузками без хрупких реплик для чтения или избыточного provisioning.
Генеральный директор Nvidia Дженсен Хуанг провозгласил эпоху «фабрик искусственного интеллекта», однако компания Silk предупреждает, что переход от чат-ботов к автономным ИИ-агентам создает огромную проблему с данными. Инференс ведет себя как OLTP++ (онлайн-обработка транзакций с дополнительными возможностями) с беспрецедентной степенью параллелизма, всплесками чтения и непредсказуемыми шаблонами
Показать ещё ↓
Источник: The Register AI/ML —
оригинал