Construindo um Pipeline de Geração de Vídeo e Áudio MiniMax-H3 de Ponta a Ponta com APIs do ComfyUI
ComfyUI
Hugging Face
Um tutorial descreve a implementação de um fluxo de trabalho de geração de vídeo MiniMax-H3 de ponta a ponta usando o ComfyUI como backend de inferência sem interface gráfica. Ele aborda a configuração do ambiente, downloads automatizados de pesos de modelos do Hugging Face, construção de gráficos ciente do esquema, decodificação conjunta de vídeo e áudio, e múltiplos modos de geração, tudo sem a interface gráfica.
O fluxo de trabalho configura o ComfyUI programaticamente, ajustando memória GPU, capacidade de disco, precisão do modelo, resolução, duração, amostragem e modos de geração. Ele seleciona dinamicamente um perfil de pesos com base nas capacidades de hardware. Os pesos necessários de difusão, codificador de texto, VAE de vídeo e VAE de áudio são baixados do Hugging Face, e o servidor comunica-se por meio de APIs HTTP e WebSocket. O grafo de execução é construído em Python, validando esquemas de nós contra /object_info. Os modos suportados incluem texto-para-vídeo, condicionado por primeiro e último quadro, e geração condicionada por imagem de referência. O pipeline integra configuração automatizada de modelos, construção de grafo ciente do esquema, decodificação conjunta de vídeo e áudio, monitoramento de progresso e coleta de saída.
Fonte: MarkTechPost —
original