Маленькая языковая модель на чистом Node.js: реализация без магии
Разработчик создал крошечную каузальную языковую модель на чистом JavaScript с использованием Node.js, без каких-либо библиотек машинного обучения, таких как TensorFlow или PyTorch. Модель реализует токенизацию, эмбеддинги, каузальный Transformer, LM-голову, softmax, функцию потерь и обратное распространение ошибки со скалярным автоматическим дифференцированием. Обучение включает предварительное обучение, контролируемую тонкую настройку и адаптивную SFT с повторением для предотвращения катастрофического забывания, всё выполняется примерно за четыре минуты.
Проект реализует крошечную каузальную языковую модель с нуля на чистом Node.js (>=18.19) без использования библиотек машинного обучения. Используется токенизация на уровне слов (24 токена), два каузальных блока Transformer, многоголовая самоаттеншен, прямой канал с двумя скрытыми слоями и оптимизатор Adam. Процесс обучения состоит из предварительного обучения на декларативных фактах, дообучения
Показать ещё ↓
Источник: Habr — хаб ML —
оригинал