Lokale LLMs auf dem iPhone ausführen: Speicher, Core ML, MLX und Grenzen
Apple
Meta
Der Artikel untersucht, wie lokale LLMs auf dem iPhone ausgeführt werden können, und behandelt die Apple-Silicon-Architektur, einheitlichen Speicher, Quantisierung, KV-Cache, Core ML im Vergleich zu MLX, thermische Drosselung und eine hybride Pipeline. Er kommt zu dem Schluss, dass lokale Modelle nur für datenschutzkritische oder Offline-Szenarien gerechtfertigt sind, während Cloud-Modelle in allen anderen Fällen überlegen sind.
Der Autor, ein iOS-Entwickler, erklärt die Herausforderungen beim Ausführen lokaler LLMs auf dem iPhone. Apple Silicon verwendet einen einheitlichen Speicher, der von CPU, GPU und ANE gemeinsam genutzt wird, wobei für Apps nur begrenzt Speicher zur Verfügung steht. Die Quantisierung reduziert die Modellgröße (z. B. von FP16 auf INT4), kann jedoch die Genauigkeit beeinträchtigen. Der KV-Cache wächst mit der Länge der Konversation und kann Jetsam (den Systemspeicher-Killer) auslösen. Core ML bietet statische Optimierung und AOT-Kompilierung, unterstützt ANE, hat jedoch Einschränkungen bei der Kontextlänge. MLX verwendet lazy evaluation und dynamische Graphen, was in autoregressiven Schleifen besser abschneidet, aber mehr Wärme und Drosselung verursacht. Thermische Drosselung reduziert die GPU-Leistung, um die Gerätetemperatur für den Nutzerkomfort unter 43–45 °C zu halten. Der Autor empfiehlt, den thermischen Zustand zu überwachen, und schlägt eine hybride Pipeline für stabile Generierung vor.
Quelle: Habr — хаб ИИ —
Original