Alibabas Videomodell Wan 3.0 startet öffentliche Beta: Dokumente und Präsentationen können zu Videos werden

Am 6. August hat Alibaba die öffentliche Beta seines Videogenerierungsmodells Wan 3.0 gestartet, das Verbesserungen bei der Generierungsdauer, der universellen Erstellung, der allmächtigen Referenz und der Wiederherstellung der realen Welt bietet. Es kann in einem einzigen Durchlauf ein 30-sekündiges Video generieren und die kreative Absicht vollständig zum Ausdruck bringen. Zum ersten Mal wird die Eingabe von Dokumentformaten über die vier grundlegenden Modalitäten Text, Bild, Audio und Video hinaus unterstützt, darunter doc, xls, ppt, pdf und md. Das Modell strebt eine genaue Wiederherstellung der realen Welt an, wobei jede Person ein einzigartiges Aussehen hat und jedes Bild sowohl realistisch als auch glaubwürdig ist. Die Verlängerung der Generierungsdauer ist das intuitivste Upgrade, das komplexe Kamerabewegungen wie kontinuierliche Schwenks und One-Shot-Aufnahmen ermöglicht. Wan3.0 verfügt auch über eine intelligente Dauerfunktion, die basierend auf dem Prompt automatisch eine angemessene Dauer empfiehlt. Es wandelt sich von einem Videogenerierungsmodell zu einem Informationsvermittlungsvehikel, das in der Lage ist, strukturierte Informationen aus Dokumenten und Präsentationen (siehe Präsentationen) zu lesen und in Kombination mit Prompts Lehrkursmaterialien, Produktdemos und Geschäftsberichte zu generieren. Die unterstützten Formate umfassen doc, xls, ppt, pdf, md, wobei einzelne Dateien oder Links 100 Megabyte und 50 Seiten nicht überschreiten dürfen. Wenn Sie beispielsweise eine Präsentation für Smart Glasses mit einem Prompt hochladen, erhalten Sie ein vollständiges Werbevideo. Dies wird durch die starken Prompt-Engineering- und Anweisungsbefolgungsfähigkeiten des Modells unterstützt, die Prompts in einen Knotenpunkt für die Planung von Eingaben und die Steuerung des Ausdrucks verwandeln. Videogenerierungsmodelle entwickeln sich von der Inhaltsgenerierung zu Produktivitätswerkzeugen, und die Benutzer verlangen nicht nur Klarheit, sondern auch Realismus. Wan3.0 repliziert und präsentiert sowohl reale Szenen als auch digitale Informationen genau, wobei generierte menschliche Figuren auf einzigartige Gesichter, detaillierte Gesichtszüge und Haut, natürliche und zurückhaltende emotionale Ausdrücke sowie koordinierte Mikroexpressionen und Körperbewegungen abzielen. Bei allmächtigen Referenzaufgaben werden feinkörnige Aspekte wie Charakter, Requisiten, Ton, räumliche Beziehungen und Stil stabil beibehalten. Die visuelle Qualität digitaler Informationen wird ebenfalls verbessert, wodurch Diagramme, Daten und Oberflächeninhalte eine Textur erhalten. Darüber hinaus sind die Videobearbeitungsfähigkeiten von Wan3.0 erheblich verbessert und unterstützen Änderungen an Bildmaterial, Handlung und Dialog. Es gibt noch Verbesserungspotenzial bei der Tonqualität und der Textgenauigkeit. Ab sofort ist Wan3.0 in der öffentlichen Beta auf Alibaba Cloud Bailian, Wanjing Yike, der offiziellen Wanxiang-Website, Qianwen Creation PC, IF STUDIO und Duijiu verfügbar, mit einem schrittweisen Rollout auf der Qianwen-App. Die API-Preise für 480p, 720p und 1080p betragen 0,3, 0,6 bzw. 1,2 Yuan pro Sekunde, wobei die API-Schnittstelle bald vollständig geöffnet wird.