Aufbau einer End-to-End-Pipeline zur Video- und Audio-Erzeugung mit MiniMax-H3 und ComfyUI-APIs
ComfyUI
Hugging Face
Ein Tutorial beschreibt die Implementierung eines End-to-End-Workflows zur Video-Erzeugung mit MiniMax-H3 unter Verwendung von ComfyUI als Headless-Inferenz-Backend. Es behandelt die Umgebungseinrichtung, das automatisierte Herunterladen von Modellgewichten von Hugging Face, den Aufbau von Graphen unter Berücksichtigung des Schemas, die gemeinsame Decodierung von Video und Audio sowie mehrere Erzeugungsmodi – alles ohne grafische Oberfläche.
Der Workflow richtet ComfyUI programmatisch ein und konfiguriert GPU-Speicher, Festplattenkapazität, Modellgenauigkeit, Auflösung, Dauer, Abtastung und Generierungsmodi. Er wählt dynamisch ein Gewichtsprofil basierend auf den Hardwarefähigkeiten aus. Erforderliche Diffusions-, Text-Encoder-, Video-VAE- und Audio-VAE-Gewichte werden von Hugging Face heruntergeladen, und der Server kommuniziert über HTTP- und WebSocket-APIs. Der Ausführungsgraph wird in Python erstellt und validiert Knotenschemas gegen /object_info. Unterstützte Modi umfassen Text-zu-Video, erste- und letzte-Frame-bedingte sowie referenzbildbedingte Generierung. Die Pipeline integriert automatisierte Modelleinrichtung, schema-bewusste Graphenkonstruktion, gemeinsame Video-Audio-Dekodierung, Fortschrittsüberwachung und Ausgabesammlung.
Quelle: MarkTechPost —
Original