텐센트, AngelSpec 오픈소스 공개: Hy3 모델에서 MTP 및 블록 병렬 추측 디코딩을 위한 통합 훈련 프레임워크

텐센트가 선제적 디코딩 드래프트 모델을 위한 토치 네이티브 학습 프레임워크인 AngelSpec을 오픈소스화했습니다. 이 프레임워크는 자기회귀적 다중 토큰 예측(MTP)과 새로운 아키텍처인 DFly를 포함한 블록-병렬 DFlash 계열을 모두 다룹니다. AngelSpec은 작업 부하 이질성을 최우선 제약 조건으로 처리하여, 대화 지향 데이터에는 MTP를, 코드/수학에는 블록 확산(block-diffusion)을 제공합니다. MTP 경로는 공유 파라미터 다중 깊이 방식을 사용하며, 학습-추론 불일치를 해결하기 위해 타겟 모델 롤아웃을 적용합니다. DFly는 하이브리드 타겟 조건부(hybrid target conditioning)와 전임자 조건부 자기회귀 헤드(predecessor-conditioned autoregressive head)를 도입합니다. Qwen3-8B에서 DFly는 평균 수용 길이가 5.41에 달하며, Hy3-A21B에서는 DFlash의 3.69, MTP의 3.00에 비해 4.79를 기록합니다. 이 프레임워크는 TTT 롤아웃, 최대 128k 토큰의 장문 맥락 학습, 문서 인식 시퀀스 패킹(document-aware sequence packing) 등의 기능을 갖춘 TorchSpec을 기반으로 구축되었습니다. 허깅페이스(Hugging Face)와 모델스코프(ModelScope)에서 7개의 체크포인트를 이용할 수 있습니다.