Mac Mini M4 Pro и OpenClaw: тестирование локального инференса LLM
Apple
OpenAI
Google/DeepMind
В статье тестируется локальный инференс LLM на Mac mini M4 Pro с 48 ГБ ОЗУ с использованием OpenClaw и LM Studio. Сравниваются три модели: google/gemma-4-26b-a4b-qat, qwen/qwen3.6-35b-a3b и google/gemma-4-31b. Результаты показывают, что модели MoE, такие как gemma-4-26b и qwen3.6-35b, обеспечивают лучшую скорость и энергоэффективность по сравнению с плотной моделью gemma-4-31b.
Автор тестирует локальный инференс (вывод) LLM на Mac mini M4 Pro с 48 ГБ оперативной памяти, используя OpenClaw в качестве AI-агента и LM Studio для запуска моделей. OpenClaw — это саморазмещаемый шлюз для подключения приложений и мессенджеров с возможностью интеграции AI-агентов. Для тестирования были выбраны три модели: google/gemma-4-26b-a4b-qat (MLX, 4-битная), qwen/qwen3.6-35b-a3b (GGUF,
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал