MIT giới thiệu SEAL: Bước tiến mới hướng tới AI tự cải thiện
MIT
Meta
Alibaba/Qwen
OpenAI
DeepMind
Các nhà nghiên cứu tại MIT đã đề xuất SEAL (Self-Adapting LLMs), một khung nền tảng cho phép các mô hình ngôn ngữ lớn tự cập nhật trọng số của chúng thông qua học tăng cường. Phương pháp này tạo ra các chỉnh sửa tự động để tạo dữ liệu huấn luyện và cải thiện hiệu suất trên các nhiệm vụ hạ nguồn. Kết quả thử nghiệm trên học ít mẫu và tích hợp kiến thức cho thấy sự cải thiện đáng kể so với các mô hình cơ sở.
Các nhà nghiên cứu từ MIT đã công bố một bài báo có tiêu đề 'Mô hình ngôn ngữ tự thích ứng', giới thiệu SEAL, một khung cho phép các mô hình ngôn ngữ lớn (Large Language Models - LLMs) tự cập nhật trọng số của chính mình. Mô hình này tạo ra dữ liệu huấn luyện tổng hợp thông qua tự chỉnh sửa, sau đó được học thông qua học tăng cường. Phần thưởng dựa trên hiệu suất đầu ra của mô hình sau khi cập nhật. Trong các thí nghiệm về học vài lần (few-shot learning) với Llama-3.2-1B-Instruct, tỷ lệ thích ứng thành công đạt 72,5%, vượt xa các đường cơ sở. Trong tích hợp kiến thức với Qwen2.5-7B, SEAL liên tục vượt trội so với các đường cơ sở, đôi khi vượt qua dữ liệu do GPT-4.1 tạo ra sau hai vòng lặp. Bài báo ghi nhận các hạn chế bao gồm quên đột ngột (catastrophic forgetting) và chi phí tính toán. Thời điểm này trùng với sự quan tâm ngày càng tăng đối với AI tự tiến hóa, bao gồm các công trình liên quan từ Sakana AI/Đại học British Columbia (UBC), Đại học Carnegie Mellon (CMU), Đại học Giao thông Thượng Hải (SJTU) và Đại học Hồng Kông Trung Hoa (CUHK)/vivo, cũng như các bình luận từ CEO OpenAI Sam Altman.
Nguồn: Synced —
bản gốc