Google DeepMind stellt Gemini Omni vor: Ein multimodales Modell für Videocreation und -bearbeitung

Google DeepMind hat Gemini Omni vorgestellt – ein neues multimodales Modell, das die Fähigkeiten zur Argumentation und Kreativität vereint. Das Modell nimmt Bilder, Audio, Videos und Text als Eingabe entgegen und erzeugt hochwertige Videoclips, die auf dem Wissen von Gemini über die reale Welt basieren. Die erste Version, Gemini Omni Flash, ist bereits in der Gemini-App, in Google Flow und in YouTube Shorts verfügbar (kostenlos für Nutzer von YouTube Shorts und der YouTube Create App). Für Abonnenten von Google AI Plus, Pro und Ultra ist sie zudem global zugänglich. In den kommenden Wochen wird das Modell für Entwickler und Unternehmenskunden über eine API verfügbar sein. Zu den wichtigsten Funktionen gehören: die Möglichkeit, Videos durch Dialoge in natürlicher Sprache zu bearbeiten (Figuren, Physik und Szenen bleiben konsistent); die Erstellung von Videos mit verbesserter Physik (Schwerkraft, kinetische Energie, Hydrodynamik); die Nutzung des Wissens von Gemini in Geschichte, Wissenschaft und kulturellem Kontext für realistisches Storytelling; die Unterstützung beliebiger Kombinationen von Eingabedaten (Bild, Text, Video, Audio; bei Audio derzeit nur Sprachreferenzen). Für die Sicherheit wurde ein unsichtbarer digitaler Wasserzeichen SynthID implementiert, sowie Tools zur Inhaltsprüfung über die Gemini-App, Chrome und Google Search. In Zukunft wird das Modell auch Bilder und Audio generieren können.