Mac Mini M4 Pro und OpenClaw: Test der lokalen LLM-Inferenz

Der Autor testet lokale LLM-Inferenz auf einem Mac mini M4 Pro mit 48 GB RAM, wobei OpenClaw als KI-Agent und LM Studio zum Ausführen der Modelle verwendet wird. OpenClaw ist ein selbst gehostetes Gateway zur Verbindung von Anwendungen und Messengern mit der Möglichkeit, KI-Agenten zu integrieren. Drei Modelle wurden für den Test ausgewählt: google/gemma-4-26b-a4b-qat (MLX, 4-Bit), qwen/qwen3.6-35b-a3b (GGUF, Q4_K_M) und google/gemma-4-31b (GGUF, Q4_K_M). Die Ping-Zeiten betrugen 4, 3 bzw. 12 Sekunden. Bei der Frage nach Neuigkeiten über Selectel lieferte das qwen3.6-35b-a3b-Modell die detaillierteste Antwort in 60 Sekunden, gemma-4-26b-a4b-qat eine analytische Antwort in 60 Sekunden und gemma-4-31b eine kurze Antwort in 300 Sekunden. Synthetische Anubis-Benchmarks zeigten, dass gemma-4-26b-a4b-qat 59 Token pro Sekunde bei einem Energieverbrauch von 0,38 Joule pro Token generiert, qwen3.6-35b-a3b 50 Token pro Sekunde und 0,45 Joule pro Token produziert, während gemma-4-31b nur 10 Token pro Sekunde und 2,73 Joule pro Token schafft. Die GPU-Auslastung erreichte 99 %, während die CPU-Auslastung unter 10 % lag. Die MoE-Modelle (gemma-4-26b und qwen3.6-35b) sind deutlich schneller und energieeffizienter als das dichte Modell gemma-4-31b.