Unsloth maakt training en uitvoering van modellen op AMD GPU's mogelijk

Unsloth, een populair open-source raamwerk voor het finetunen van grote taalmodellen, ondersteunt nu ook AMD-GPU's. Voorheen beperkt tot NVIDIA-GPU's met CUDA, maakt Unsloth nu training en inferentie mogelijk op AMD-versnellers, gebruikmakend van ROCm-software. Dit verruimt de hardwarekeuzes voor AI-ontwikkelaars, wat mogelijk de kosten verlaagt en de toegankelijkheid vergroot. De update bevat optimalisaties specifiek voor AMD-architectuur, wat prestatieverbeteringen belooft. Unsloth staat bekend om zijn snelheid en geheugenefficiëntie en ondersteunt modellen zoals Llama, Mistral en andere.