Компрессия ИИ-моделей от Multiverse Computing ускоряет инференс на стандартном оборудовании
Multiverse Computing
Компания Multiverse Computing разработала метод сжатия моделей искусственного интеллекта, позволяющий им работать быстрее на стандартном оборудовании без специальных ускорителей. Техника, использующая сингулярное разложение, по сообщениям, обеспечивает ускорение до 10 раз на центральных процессорах (CPU).
Компания Multiverse Computing, специализирующаяся на квантово-вдохновленных вычислениях, объявила о новом подходе к сжатию моделей ИИ с использованием методов матричной факторизации, таких как сингулярное разложение. Этот метод уменьшает размер модели и вычислительные требования, позволяя большим моделям эффективно работать на обычных центральных процессорах (CPU) и графических процессорах (GPU).
Показать ещё ↓
Источник: Meta AI (GNews) —
оригинал