Raciocínio Autodestilado para Ajuste Fino da Amazon Nova
Amazon Web Services
A Amazon introduziu o método de Raciocínio Autodestilado (SDR) para ajuste fino supervisionado (SFT) dos modelos Amazon Nova 2. O SDR gera caminhos de raciocínio em cadeia de pensamento (CoT) para conjuntos de dados que não os possuem, usando o próprio modelo. Isso aborda o problema de supressão de raciocínio e reduz o esquecimento catastrófico, melhorando o desempenho alvo enquanto retém capacidades gerais.
Em um artigo do blog AWS ML, foi investigado o problema da supressão do raciocínio durante o fine-tuning supervisionado (SFT) de modelos com dados que não possuem cadeias de raciocínio (CoT). Quando o SFT é realizado sem CoT, o modelo perde a capacidade de raciocinar mesmo com o modo de raciocínio ativado, resultando em esquecimento catastrófico. Foi proposto o método Self-Distilled Reasoning (SDR), que, na primeira etapa, gera CoT usando um modelo de raciocínio base (Amazon Nova 2 Lite), em seguida, complementa os dados de treinamento com esses traços e realiza o SFT com o modo de raciocínio ativado. Experimentos em cinco benchmarks (ToolACE, CoCoHD, GovReport, Invoice-OCR, CaptionGen) mostraram que o SDR melhora o desempenho alvo em média 6,5% em comparação com a simples fusão de modelos, mantendo a precisão matemática em 70% contra 68% da fusão. O SDR não requer anotação manual, funciona em qualquer domínio e é mais eficaz do que a fusão de modelos para prevenir o esquecimento catastrófico. O método usa o próprio modelo como fonte de raciocínio, o que está alinhado com os princípios da autodestilação (self-distillation).
Fonte: AWS ML blog —
original