Alibaba mở rộng độ dài ngữ cảnh của Qwen2.5-Turbo lên 1 triệu token

阿里巴巴发布了Qwen2.5-Turbo模型，将上下文长度从128K扩展到1M token，约相当于100万英文单词或150万汉字。该模型在1M长度的Passkey Retrieval任务中达到100%准确率，在长文本评估基准RULER上得分为93.1，超过了GPT-4的91.6和GLM4-9B-1M的89.9。利用稀疏注意力机制，1M token上下文的首次生成token时间从4.9分钟减少到68秒，实现了4.3倍的加速。价格保持在每1M token 0.3元人民币，使得Qwen2.5-Turbo在相同成本下能处理的token数量是GPT-4o-mini的3.6倍。该模型保持了与GPT-4o-mini相当的短序列能力。用户可通过阿里云百炼API、HuggingFace演示和ModelScope演示获取该模型。