Mô hình Ngôn ngữ Nhỏ trên Node.js thuần: Triển khai Không Phép màu
Một nhà phát triển đã tạo ra một mô hình ngôn ngữ nhân quả nhỏ hoàn toàn bằng JavaScript sử dụng Node.js, mà không cần bất kỳ thư viện học máy nào như TensorFlow hay PyTorch. Mô hình triển khai tokenization, embeddings, Transformer nhân quả, LM head, softmax, loss, và lan truyền ngược với autograd vô hướng. Quá trình huấn luyện bao gồm tiền huấn luyện, tinh chỉnh có giám sát, và tinh chỉnh thích ứng có giám sát (adaptive SFT) với rehearsal để ngăn chặn quên lãng thảm khốc, tất cả chạy trong khoảng bốn phút.
Dự án triển khai một mô hình ngôn ngữ nhân quả nhỏ từ đầu bằng Node.js thuần túy (>=18.19) mà không sử dụng bất kỳ thư viện học máy nào. Mô hình sử dụng token hóa ở cấp độ từ (24 token), hai khối Transformer nhân quả, cơ chế tự chú ý đa đầu, mạng nơ-ron truyền thẳng (FFN) với hai lớp ẩn và bộ tối ưu hóa Adam. Quy trình huấn luyện bao gồm tiền huấn luyện trên các sự kiện khai báo, tinh chỉnh có giám sát trên 42 cặp câu hỏi-câu trả lời và tinh chỉnh có giám sát thích ứng (adaptive SFT) với bài tập ôn luyện để học các sự kiện mới mà không bị quên kiến thức cũ. Mô hình có 2.160 tham số. Quá trình huấn luyện tạo ra nhật ký ASCII chi tiết về các ma trận và mức thay đổi. Toàn bộ mã nguồn có sẵn trên GitHub.
Nguồn: Habr — хаб ML —
bản gốc