Tencent mở mã nguồn AngelSpec: Khung huấn luyện thống nhất cho MTP và giải mã suy luận song song khối trên mô hình Hy3

Tencent đã mã nguồn mở AngelSpec, một khung huấn luyện gốc torch cho các mô hình draft suy luận đặc tả. Nó bao gồm cả dự đoán đa token tự hồi quy (MTP) và họ DFlash song song khối, bao gồm kiến trúc mới DFly. AngelSpec coi sự không đồng nhất của khối lượng công việc là một ràng buộc hạng nhất, cung cấp các draft bổ sung cho các lĩnh vực khác nhau: MTP cho dữ liệu hướng hội thoại và khuếch tán khối cho mã/ toán. Đường dẫn MTP sử dụng sơ đồ tham số chia sẻ, nhiều độ sâu với triển khai mô hình mục tiêu để giải quyết sự không khớp giữa huấn luyện và suy luận. DFly giới thiệu điều kiện mục tiêu lai và đầu hồi quy tự động có điều kiện tiền nhiệm. Trên Qwen3-8B, DFly đạt độ dài chấp nhận trung bình 5,41 và trên Hy3-A21B là 4,79 so với 3,69 của DFlash và 3,00 của MTP. Khung này được xây dựng trên TorchSpec với các tính năng như triển khai TTT, huấn luyện ngữ cảnh dài lên đến 128 nghìn token và đóng gói chuỗi nhận biết tài liệu. Bảy checkpoint có sẵn trên Hugging Face và ModelScope.