llama.cpp b10075 Update: Vier Verbesserungen an der lokalen KI-Engine
Meta
Das llama.cpp b10075 Update führt vier wichtige Verbesserungen an der lokalen KI-Inferenz-Engine ein. Diese Verbesserungen konzentrieren sich auf Leistung, Speichereffizienz und neue Funktionen für die lokale Ausführung großer Sprachmodelle.
Das aktuelle Update b10075 von llama.cpp bringt vier wesentliche Verbesserungen für die lokale KI-Engine. Erstens wird die Unterstützung der Llama-4-Modellfamilie hinzugefügt, sodass Benutzer diese Modelle lokal ausführen können. Zweitens wird die Speichernutzung durch eine bessere Verwaltung des KV-Caches optimiert, wodurch der RAM-Verbrauch während der Inferenz reduziert wird. Drittens wird eine neue spekulative Dekodierungsfunktion eingeführt, die die Textgenerierung durch die Verwendung eines Entwurfsmodells beschleunigt. Viertens wird die Kompatibilität mit verschiedenen Hardware-Backends verbessert, darunter AMD ROCm und Intel oneAPI, wodurch die GPU-Unterstützung erweitert wird.
Quelle: Meta AI (GNews) —
Original