Xây dựng quy trình tạo video và âm thanh MiniMax-H3 từ đầu đến cuối bằng API ComfyUI

Quy trình làm việc này thiết lập ComfyUI theo cách lập trình, cấu hình bộ nhớ GPU, dung lượng đĩa, độ chính xác của mô hình, độ phân giải, thời lượng, lấy mẫu và các chế độ tạo sinh. Nó tự động chọn một hồ sơ trọng số dựa trên khả năng phần cứng. Các trọng số cần thiết cho bộ khuếch tán, bộ mã hóa văn bản, bộ mã hóa video-VAE và bộ mã hóa audio-VAE được tải xuống từ Hugging Face, và máy chủ giao tiếp qua các API HTTP và WebSocket. Đồ thị thực thi được xây dựng bằng Python, xác thực cấu trúc nút so với /object_info. Các chế độ được hỗ trợ bao gồm tạo video từ văn bản, tạo video có điều kiện từ khung hình đầu tiên và cuối cùng, và tạo video có điều kiện từ hình ảnh tham chiếu. Đường dẫn xử lý tích hợp thiết lập mô hình tự động, xây dựng đồ thị có nhận biết cấu trúc, giải mã video-âm thanh kết hợp, giám sát tiến trình và thu thập đầu ra.