Mac mini M4: Benchmark-Ergebnisse zu echten Tokens pro Sekunde
Apple
Meta
Mistral
Alibaba/Qwen
DeepSeek
Der Besitzer eines Mac-Vermietdienstes hat sechs LLMs auf einem Mac mini M4 (16 GB) mit einer konsistenten Methodik getestet und festgestellt, dass die Generierungsgeschwindigkeit speichergebunden ist und umgekehrt mit der Modellgröße skaliert. Llama 3.2 3B erreichte 46,7 Tokens pro Sekunde, während Qwen 2.5 14B nur 11,7 Tokens pro Sekunde schaffte; die Prompt-Verarbeitung war 10- bis 20-mal schneller. Praktischer Ratschlag: 8B-Modelle laufen auf 16 GB komfortabel, größere Modelle benötigen mehr Speicher.
Ein Vermieter von Macs führte reproduzierbare Benchmarks auf einem Mac mini M4 mit 16 GB einheitlichem Speicher und 120 GB/s Bandbreite durch. Dabei nutzte er Ollama 0.31.2, macOS 15.3.1, Q4_K_M-Quantisierung, einen festen Prompt und drei Läufe pro Modell (plus einen verworfenen Aufwärmlauf). Ergebnisse: Llama 3.2 3B erzeugte 46,7 tok/s, Mistral 7B 22,8, Qwen 2.5 7B 22,3, Llama 3.1 8B 21,2, DeepSeek R1 8B 20,0 und Qwen 2.5 14B 11,7. Die Geschwindigkeiten der Promptverarbeitung lagen zwischen 531 und 1720 tok/s. Der Autor schlussfolgert, dass die Generierung speichergebunden ist, sodass die Geschwindigkeit ungefähr der Bandbreite geteilt durch die Modellgröße entspricht (z. B. ~25 tok/s für 8B Q4 vorhergesagt, 21 gemessen). Er stellt fest, dass M4 Pro und M4 Max mit der Bandbreite skalieren sollten, nicht mit den Kernen. Er empfiehlt 8B-Modelle für 16 GB als komfortabel (20+ tok/s), während 14B sich langsam anfühlt; längere Kontexte sind günstig zu verarbeiten, aber teuer zu generieren. Einschränkungen: einzelne Konfiguration, einzelne Quantisierung, nur Textgenerierung; kein Batching getestet. Die Daten sind unter CC BY offen.
Quelle: Habr — хаб ИИ —
Original