Alibaba veröffentlicht Qwen2.5-VL: Neue multimodale Flaggschiff-Modell

Die Gruppe Qwen von Alibaba hat Qwen2.5-VL veröffentlicht – ein neues Flaggschiff-Modell für Vision und Sprache. Es ist in drei Größen verfügbar: 3B, 7B und 72B, sowohl als Base- also auch als Instruct-Version, auf Hugging Face und ModelScope. Das Modell kann Objekte, Texte, Diagramme erkennen und auch als visueller Agent fungieren: Es kann einen Computer oder ein Telefon steuern. Es versteht Videos mit einer Länge von über einer Stunde und kann Ereignisse zeitlich lokalisieren. Das Modell unterstützt die präzise Lokalisierung von Objekten mittels Begrenzungsrahmen und Schlüsselpunkten sowie strukturierte JSON-Ausgaben für Dokumente, Rechnungen und Tabellen. Das Flaggschiff Qwen2.5-VL-72B-Instruct zeigt wettbewerbsfähige Ergebnisse in Benchmarks, darunter Aufgaben auf College-Niveau, Mathematik, Dokumentenverständnis und Videos. Die kleineren Versionen (7B) übertreffen GPT-4o-mini in einer Reihe von Aufgaben, und die für Edge-KI konzipierte 3B-Version übertrifft das vorherige 7B-Modell. Auch die Bilderkennung wurde verbessert: Das Modell deckt nun eine große Anzahl von Kategorien ab, darunter Pflanzen, Tiere, Sehenswürdigkeiten, Filmcharaktere und Waren. Das Modell verwendet das HTML-Format für die Dokumentenauszeichnung (QwenVL HTML).