알리바바, Qwen2.5-Turbo 컨텍스트 길이를 100만 토큰으로 확장

알리바바가 Qwen2.5-Turbo 모델을 발표하며 컨텍스트 길이를 128K에서 1M 토큰으로 확장했습니다. 이는 약 100만 개의 영어 단어 또는 150만 개의 중국어 문자에 해당합니다. 이 모델은 1M 길이의 Passkey Retrieval 작업에서 100% 정확도를 달성했으며, 장문 평가 벤치마크 RULER에서 93.1점을 기록하여 GPT-4의 91.6점과 GLM4-9B-1M의 89.9점을 능가했습니다. 희소 어텐션 메커니즘을 사용하여 1M 토큰 컨텍스트의 첫 토큰 생성 시간을 4.9분에서 68초로 단축했으며, 이는 4.3배의 속도 향상입니다. 가격은 100만 토큰당 0.3위안으로 유지되어, 동일한 비용으로 Qwen2.5-Turbo는 GPT-4o-mini보다 3.6배 더 많은 토큰을 처리할 수 있습니다. 이 모델은 GPT-4o-mini와 동등한 수준의 경쟁력 있는 단문 처리 능력을 유지합니다. 알리바바 클라우드 모델 스튜디오 API, 허깅페이스 데모, 모델스코프 데모를 통해 사용할 수 있습니다.