Unsloth permite treinar e executar modelos em GPUs AMD
Meta
Unsloth
Unsloth, uma estrutura para ajuste eficiente de modelos de linguagem de grande porte, agora suporta GPUs AMD. Isso permite que os usuários treinem e implantem modelos de linguagem de grande porte em hardware AMD, expandindo as opções além das GPUs NVIDIA.
O Unsloth, um popular framework de código aberto para ajuste fino de modelos de linguagem de grande escala, anunciou suporte para GPUs da AMD. Anteriormente limitado a GPUs NVIDIA com CUDA, o Unsloth agora permite treinamento e inferência em aceleradores AMD, utilizando o software ROCm. Isso expande as opções de hardware para desenvolvedores de IA, potencialmente reduzindo custos e aumentando a acessibilidade. A atualização inclui otimizações específicas para a arquitetura AMD, prometendo melhorias de desempenho. O Unsloth é conhecido por sua velocidade e eficiência de memória, suportando modelos como Llama, Mistral e outros.
Fonte: Meta AI (GNews) —
original