Unsloth ermöglicht Training und Ausführung von Modellen auf AMD-GPUs
Meta
Unsloth
Unsloth, ein Framework für effizientes Feintuning von großen Sprachmodellen (LLMs), unterstützt jetzt AMD-GPUs. Dies ermöglicht es Nutzern, große Sprachmodelle auf AMD-Hardware zu trainieren und einzusetzen, und erweitert die Optionen über NVIDIA-GPUs hinaus.
Unsloth, ein beliebtes Open-Source-Framework zum Feintuning großer Sprachmodelle, hat die Unterstützung für AMD-Grafikkarten angekündigt. Bislang auf NVIDIA-GPUs mit CUDA beschränkt, ermöglicht Unsloth nun Training und Inferenz auf AMD-Beschleunigern unter Nutzung der ROCm-Software. Dies erweitert die Hardwareauswahl für KI-Entwickler, senkt potenziell die Kosten und erhöht die Zugänglichkeit. Das Update umfasst architekturspezifische Optimierungen für AMD und verspricht Leistungsverbesserungen. Unsloth ist bekannt für seine Geschwindigkeit und Speichereffizienz und unterstützt Modelle wie Llama, Mistral und andere.
Quelle: Meta AI (GNews) —
Original