Маленькая языковая модель на чистом Node.js: реализация без магии
Разработчик создал крошечную каузальную языковую модель на чистом JavaScript с использованием Node.js, без каких-либо библиотек машинного обучения, таких как TensorFlow или PyTorch. Модель реализует токенизацию, эмбеддинги, каузальный трансформер, языковую голову, softmax, функцию потерь и обратное распространение со скалярным автоградом. Обучение включает предобучение, контролируемую точную настройку и адаптивную точную настройку с повторением (adaptive SFT) для предотвращения катастрофического забывания, и занимает около четырёх минут.
Проект реализует крошечную каузальную языковую модель с нуля на чистом Node.js (>=18.19) без использования библиотек машинного обучения. Используется токенизация на уровне слов (24 токена), два каузальных блока Transformer, многоголовая самоаттеншен, прямой канал с двумя скрытыми слоями и оптимизатор Adam. Процесс обучения состоит из предварительного обучения на декларативных фактах, дообучения
Показать ещё ↓
Источник: Habr — хаб ML —
оригинал