8G显存跑通AI漫剧:ComfyUI本地工作流搭建实录

0 阅读

为什么要在8G显存上死磕本地部署

现在网上关于AI视频生成的教程,大多默认你有一张RTX 4090,或者干脆让你直接调API。对于想长期做内容、控制成本的个人创作者来说,API虽然省事,但算下来每秒钟都在烧钱,而且数据隐私和风格一致性很难把控。本地部署才是长久之计。

但现实很骨感:大多数人的显卡显存只有8G,甚至6G。很多人一听到“本地部署AI视频”,第一反应就是“显存爆炸”。其实,只要选对模型和工具链,8G显存完全跑得通一套完整的AI漫剧生成流程。这里的关键词不是“高性能”,而是“精细化调度”。

ComfyUI 之所以成为首选,不是因为它界面好看(事实上它的节点图对新手并不友好),而是因为它足够“抠门”。它允许我们精确控制每个模型加载和卸载的时机,避免所有大模型同时挤在显存里。这篇文章不聊宏大的行业趋势,只讲怎么在你的旧显卡上,把这套系统搭起来并跑通。

核心组件:拆解漫剧生成的流水线

AI漫剧不是用一个模型就能搞定的“一键生成”,它是一个串联工程。我们需要把任务拆解开,让每个环节由最合适的轻量级模型负责。

1. 大脑:轻量级大语言模型(LLM)

剧本和分镜描述是源头。在8G显存下,跑7B以上的全量模型会非常吃力,甚至直接OOM(显存溢出)。我们需要的是量化后的轻量模型。

  • 推荐选择:Qwen2.5-1.5B 或 ChatGLM3-6B(4-bit量化版)。
  • 作用:接收你的故事大纲,输出结构化的分镜脚本。比如,它需要告诉后续环节:“第一幕,主角站在雨中,表情悲伤,赛博朋克风格。”
  • 运行策略:LLM主要在CPU或显存中短暂加载,生成完文本后即可卸载,或者使用GGUF格式在CPU上推理,把宝贵的显存留给画图模型。

2. 画师:文生图模型(Text-to-Image)

这是显存消耗的大头。SDXL虽然效果好,但对8G显存极其不友好。我们需要更轻量的选择。

  • 推荐选择:Stable Diffusion 1.5 的特定微调模型(如动漫风专用的Anything V5),或者SDXL-Turbo(如果配合极低的分辨率和步数)。
  • 作用:根据LLM生成的提示词,画出关键帧。
  • 关键点:必须使用LoRA来控制角色一致性。否则,每一帧的主角长得都不一样,这就不是漫剧,是恐怖片。

3. 导演:ComfyUI 工作流引擎

ComfyUI 本身不生成内容,它是调度中心。通过节点连接,我们定义了数据流向:LLM输出文本 -> 提示词清洗 -> 文生图节点 -> 图像放大/修复 -> 视频合成。

它的优势在于“动态加载”。你可以设置工作流,让SD模型用完后立即从显存中释放,再加载下一个模块。这种串行处理机制,是低显存用户的核心救命稻草。

4. 配音与剪辑:TTS 和 FFmpeg

  • TTS(语音合成):推荐使用 Edge-TTS 的本地封装版,或者 ChatTTS。Edge-TTS 几乎不占显存,主要靠网络或CPU;ChatTTS 效果更自然,但需要一定的显存,建议在生成图片的空隙运行。
  • 视频合成:FFmpeg 是行业标准。它不需要GPU参与,纯CPU运算,将图片序列和音频合并成MP4文件。

环境搭建:避坑指南

别被复杂的依赖吓到,按部就班来,Windows 和 Linux 都能搞定。这里以 Windows 为例,因为大多数个人创作者使用的是 Windows 系统。

硬件底线

  • GPU:NVIDIA GTX 1070 8G 是起步线。如果是 RTX 3060 12G,体验会好很多,容错率更高。
  • 内存:16GB 是底线,建议 32GB。因为当显存不够时,系统会 swap 到内存,内存太小会直接卡死。
  • 存储:至少预留 100GB SSD 空间。模型文件很大,SD 1.5 的一个检查点就 2-4GB,加上各种 LoRA 和控制网模型,空间消耗很快。

安装 ComfyUI

不要直接用整合包,除非你是纯小白且不想学习原理。为了后续的调试和优化,建议从源码安装。

# 1. 克隆仓库
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI

# 2. 创建虚拟环境(强烈建议,避免污染系统Python)
python -m venv venv
venv\Scripts\activate  # Windows激活

# 3. 安装 PyTorch
# 注意:根据你的CUDA版本选择对应的索引URL,这里是CUDA 11.8
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 4. 安装 ComfyUI 依赖
pip install -r requirements.txt

安装完成后,运行 main.py。如果浏览器自动打开 127.0.0.1:8188 并显示空白画布,说明基础环境没问题。

必备插件管理

原生 ComfyUI 功能有限,你需要安装 ComfyUI Manager。这是一个插件管理器,能让你在界面内直接搜索、安装其他自定义节点。

  1. 进入 ComfyUI/custom_nodes 目录。
  2. 执行 git clone https://github.com/ltdrdata/ComfyUI-Manager.git。
  3. 重启 ComfyUI。
  4. 在界面右侧点击 “Manager”,你可以搜索并安装以下关键节点:
    • ComfyUI-Impact-Pack:提供人脸检测、细节修复等功能。
    • ComfyUI-Custom-Scripts:增强工作流的可读性和操作便捷性。
    • Was Node Suite:包含大量图像处理和视频处理工具。

工作流设计:从文本到视频的逻辑闭环

在 ComfyUI 中,我们需要手动连接节点。对于8G显存用户,核心原则是:能串行的绝不并行,能卸载的绝不留存。

第一步:LLM 节点接入

如果你选择在本地运行 LLM,可以使用 ComfyUI-Llama 或类似的节点。加载 Qwen2.5-1.5B 的 GGUF 模型。输入你的故事梗概,输出格式化为 JSON 或特定的提示词模板。

  • 技巧:让 LLM 输出包含“正向提示词”、“负向提示词”和“角色特征描述”的结构化数据。这样后续节点可以直接解析,无需人工干预。

第二步:文生图与角色一致性

这是最难的一环。为了保证主角在不同分镜中长一样,我们需要使用 IP-Adapter 或 LoRA。

  1. 加载 Checkpoint:选择 SD 1.5 的动漫模型。
  2. 加载 LoRA:如果你训练了角色的 LoRA,在这里加载。如果没有,使用 IP-Adapter FaceID。IP-Adapter 只需要一张参考图,就能让生成的图像保持面部特征一致,且比传统 LoRA 更灵活。
  3. 提示词编码:将 LLM 输出的提示词传入 CLIP Text Encode 节点。
  4. 采样器(KSampler):设置步数(Steps)为 20-30,CFG Scale 为 7。对于8G显存,分辨率建议控制在 512x512 或 512x768。不要试图直接生成高清大图,后期再放大。

第三步:显存优化策略

在 ComfyUI 中,有一个容易被忽视的设置:--lowvram 或 --normalvram。

  • 启动 ComfyUI 时,如果显存小于 8G,添加 --lowvram 参数。这会强制模型在计算间隙将权重移回 CPU 内存,虽然速度变慢,但能保证不崩溃。
  • 对于 8G 显存,通常可以使用 --normalvram,但如果工作流复杂,建议手动在节点间插入“清除显存”的操作,或者使用 Model Unloader 节点,在用完后主动卸载大模型。

第四步:视频合成

生成的图片序列需要变成视频。使用 VHS (Video Helper Suite) 插件。

  1. Load Images:加载生成的图片文件夹。
  2. Combine into Video:设置帧率(FPS),通常漫剧 8-12 FPS 就有那种“定格动画”的味道,也节省算力。
  3. Add Audio:如果之前生成了 TTS 音频,在这里合并。
  4. Save Video:输出 MP4。

常见问题与排查

1. 显存溢出(OOM)

这是最常遇到的问题。报错信息通常包含 CUDA out of memory。

  • 解决方法:
    • 降低图片分辨率。
    • 减少 Batch Size(批处理大小)设为 1。
    • 检查是否有多个大模型同时加载。确保在工作流中,前一个模型用完后,后一个才加载。
    • 关闭浏览器中其他占用 GPU 的标签页(如 YouTube 4K 视频)。

2. 角色脸崩

即使用了 LoRA,有时候脸还是会变。

  • 解决方法:
    • 提高 LoRA 的权重,但不要超过 1.2,否则画面会过拟合。
    • 使用 ControlNet 的 Canny 或 Depth 模式,固定人物的姿态和轮廓,再让 SD 去上色和细化。
    • 在后期处理中,加入 Face Restore(人脸修复)节点,如 CodeFormer 或 GFPGAN。注意,这些修复节点也吃显存,建议单独作为一个步骤运行,不要和生图混在一起。

3. 生成速度慢

8G 显存跑 SD 1.5,一张图可能需要 10-20 秒。如果加上 LLM 和 TTS,整个流程可能很慢。

  • 心态调整:本地部署的优势是免费和隐私,代价就是时间。你可以利用夜间挂机生成。
  • 技术优化:使用 xFormers 或 Attention Slicing 技术加速注意力机制计算。在 ComfyUI 启动参数中添加 --xformers 可以显著提升速度并降低显存峰值。

生产级建议:从Demo到可用

如果你想真的用这套系统产出内容,还有几点建议:

  1. 标准化提示词库:不要让 LLM 自由发挥所有提示词。建立一个固定的风格模板,比如“赛博朋克,霓虹灯,高对比度”,只让 LLM 填充动作和表情。这样能保证整部剧的画风统一。
  2. 分段生成:不要试图一次性生成整集。按场景或镜头分段生成,最后再用 FFmpeg 拼接。这样即使中间出错,也不需要从头再来。
  3. 人工介入:全自动目前还做不到完美。建议在关键帧生成后,人工筛选一下,剔除明显崩坏的图像,再进行后续的视频合成。人机协作的效率远高于纯自动或纯手工。
  4. 备份工作流:ComfyUI 的工作流可以保存为 JSON 文件。每次调整参数后,记得另存为一个新版本。这样你可以随时回滚到稳定的状态。

结语

在 8G 显存上搭建 AI 漫剧工作流,本质上是一场资源管理的艺术。它没有云端 API 那么丝滑,也没有高端显卡那么任性,但它赋予了你完全的控制权。你不需要担心 API 涨价,不需要担心服务关停,所有的模型、数据、创意都掌握在自己手里。

这套方案不是终点,而是一个起点。随着模型量化技术的进步,未来也许 4G 显存也能跑通全流程。但对于现在的你来说,动手搭起来,跑出第一个哪怕只有 5 秒钟的视频,那种成就感是无可替代的。别怕报错,每一个 OOM 都是你理解 AI 底层逻辑的机会。