Qwen2.5-LLM: de grenzen van taalmodellen verleggen
Alibaba/Qwen
Het Qwen-team van Alibaba heeft de Qwen2.5-serie taalmodellen uitgebracht, waaronder zeven opensource-modellen variërend van 0,5 miljard tot 72 miljard parameters. De modellen beschikken over een grotere pre-trainingsdataset (tot 18 biljoen tokens), verbeterde kennis, codeer- en wiskundige vaardigheden en ondersteunen contextlengtes tot 128.000 tokens.
Het Qwen-team van Alibaba heeft de Qwen2.5-serie taalmodellen aangekondigd, die decoder-only dense modellen zijn. Zeven modellen zijn open-source: 0,5B, 1,5B, 3B, 7B, 14B, 32B en 72B parameters. De pre-trainingsdataset is uitgebreid van 7 biljoen naar 18 biljoen tokens. Vergeleken met Qwen2 laat Qwen2.5 verbeteringen zien in MMLU, codeerbenchmarks (LiveCodeBench, MultiPL-E, MBPP) en wiskundebenchmarks (MATH). Qwen2.5-72B presteert beter dan Llama-3-405B op verschillende taken, terwijl het een vijfde van de parameters gebruikt. Aanvullende modellen Qwen-Plus en Qwen-Turbo zijn beschikbaar via de Alibaba Cloud Model Studio API. De meeste modellen zijn gelicenseerd onder Apache 2.0, met uitzondering van Qwen2.5-3B en Qwen2.5-72B, die aparte licenties hebben.
Bron: Alibaba Qwen —
origineel