알리바바, 컨텍스트 최대 100만 토큰 지원하는 Qwen2.5-1M 오픈소스 공개

Alibaba Qwen이 컨텍스트 최대 100만 토큰을 처리할 수 있는 오픈 모델 Qwen2.5-7B-Instruct-1M과 Qwen2.5-14B-Instruct-1M을 공개했습니다. 이 모델들을 배포하기 위해 회사는 희소 어텐션(sparse attention)을 활용하여 100만 토큰 처리를 3~7배 가속화하는 vLLM 기반 추론 프레임워크를 완전히 오픈소스로 공개했습니다. 모델들은 점진적으로 학습되었습니다. 먼저 최대 256K 토큰 시퀀스로 학습한 후, 듀얼 청크 어텐션(Dual Chunk Attention)을 통한 길이 외삽법으로 100만 토큰까지 확장되었습니다. 패스키 검색(Passkey Retrieval) 및 복잡한 태스크(RULER, LV-Eval, LongBench) 테스트에서 모델들은 128K 버전과 GPT-4o-mini를 크게 능가했습니다. 추론을 위해 Ampere 또는 Hopper 아키텍처의 GPU가 권장되며, 7B 모델은 최소 120GB VRAM, 14B 모델은 320GB VRAM이 필요합니다. 또한 긴 컨텍스트를 지원하는 AI 어시스턴트인 Qwen Chat도 함께 공개되었습니다.