Железо и инференс RSS

Четыре Mac Studio объединили в кластер с 1,5 ТБ памяти — запустили ИИ, не влезающий в одну видеокарту

Журналист объединил четыре Mac Studio на M3 Ultra в кластер с суммарной памятью 1,5 ТБ, используя технологию RDMA через Thunderbolt 5. Кластер запустил гигантские ИИ-модели, такие как Kimi K2 Thinking (600+ ГБ), которые невозможно загрузить на одном компьютере. Проект реализован с помощью открытого инструмента Exo 1.0.

AppleApple NVIDIANVIDIA ExoExo Moonshot AIMoonshot AI DeepSeekDeepSeek Alibaba/QwenAlibaba/Qwen
Habr — хаб ML24.07 · 04:03
Агенты 🇨🇳

Huatai Securities: AI-агенты ускоряют рост потребностей в вычислительных мощностях и памяти, ускоряя локализацию цепочек поставок

Аналитики Huatai Securities прогнозируют, что к 2026 году ИИ-индустрия переключится с предварительного обучения больших моделей на коммерциализацию AI-агентов, что приведёт к ускорению роста потребностей в инференс-вычислениях. Выделены три ключевых направления: замкнутый цикл отечественных вычислительных мощностей, рост спроса на пассивные компоненты из-за энергопотребления ИИ и ускорение импортозамещения.

36Kr24.07 · 04:01
Свежие новости