Unsloth 支持在 AMD GPU 上训练和运行模型
Meta
Unsloth
Unsloth,一个用于高效微调大语言模型的框架,现已支持 AMD GPU。这使得用户能够在 AMD 硬件上训练和部署大语言模型,扩展了除 NVIDIA GPU 之外的选择。
Unsloth,一个用于微调大型语言模型的热门开源框架,现已宣布支持AMD GPU。此前,Unsloth仅支持配备CUDA的NVIDIA GPU,而如今借助ROCm软件,它能够在AMD加速器上进行训练和推理。这一更新为AI开发者拓展了硬件选择范围,有望降低成本并提高可及性。本次更新包含针对AMD架构的特定优化,有望带来性能提升。Unsloth以速度和内存效率著称,支持Llama、Mistral等模型。
来源: Meta AI (GNews) —
原文
