comfyui + wan2.1で動画生成

2025-03-24 / @syui

comfyui + wan2.1で動画生成

今回は、comfyui + wan2.1で動画生成してみます。cosmosよりもwan2.1のほうがいいです。

また、comfyuiのことが色々わかってきました。

https://blog.comfy.org/p/wan21-video-model-native-support

{
    "models": {
        "diffusion_models": {
            "url": "https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/blob/main/split_files/diffusion_models/wan2.1_i2v_720p_14B_fp8_scaled.safetensors"
        },
        "text_encoders": {
            "url": "https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors"
        },
        "clip_vision": {
            "url": "https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/clip_vision/clip_vision_h.safetensors"
        },
        "vae": {
            "url": "https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/vae/wan_2.1_vae.safetensors"
        }
    }
}

$ curl -sLO "https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/example%20workflows_Wan2.1/image_to_video_wan_720p_example.json"

生成された動画はこちら。時間は30分ほどかかりました。

わかってきたこと

docsはこちらが非常にわかりやすいです。

https://docs.comfy.org/

開発者が交流しているmatrixがあります。

https://app.element.io/#/room/#comfyui_space:matrix.org

workflowのjsonはopenart.aiから持ってこれます。

https://openart.ai/