Modelo de Linguagem Minúsculo em Node.js Puro: Uma Implementação Sem Mágica
Um desenvolvedor criou um pequeno modelo de linguagem causal em JavaScript puro usando Node.js, sem bibliotecas de aprendizado de máquina como TensorFlow ou PyTorch. O modelo implementa tokenização, embeddings, Transformer causal, cabeça de modelo de linguagem, softmax, perda e retropropagação com autograd escalar. O treinamento inclui pré-treinamento, ajuste fino supervisionado e ajuste fino adaptativo com ensaio para evitar esquecimento catastrófico, tudo executado em cerca de quatro minutos.
O projeto implementa um modelo de linguagem causal minúsculo do zero em Node.js puro (>=18.19) sem bibliotecas de ML. Utiliza tokenização no nível de palavras (24 tokens), dois blocos Transformer causais, autoatenção multi-cabeça, FFN com duas camadas ocultas e otimizador Adam. O pipeline de treinamento consiste em pré-treinamento em fatos declarativos, ajuste fino supervisionado em 42 pares de pergunta e resposta e ajuste fino supervisionado adaptativo com ensaio para aprender novos fatos sem esquecimento catastrófico. O modelo tem 2.160 parâmetros. O treinamento produz um log ASCII detalhado de matrizes e deltas. Todo o código está disponível no GitHub.
Fonte: Habr — хаб ML —
original