InstructAV2AV：智源与北大联合开源音视频联合编辑模型，一句话实现声画同步修改

0 阅读

引言

在多媒体内容创作日益普及的今天，视频编辑已成为影视制作、短视频创作、广告营销等领域不可或缺的环节。然而，传统的视频编辑工具往往需要专业的技术知识和繁琐的手动操作，尤其是在同时修改画面和声音时，更是耗时费力。近年来，随着人工智能技术的飞速发展，基于深度学习的视频编辑模型逐渐崭露头角，但大多数模型仅能处理视觉或音频单一模态，难以实现声画联合编辑。

北京智源人工智能研究院与北京大学联合推出的InstructAV2AV模型，打破了这一局限。该模型通过自然语言指令，实现了端到端的音视频联合编辑，用户只需输入一句描述性文本，即可同时修改视频画面和对应声音，且能保持背景与环境声不变，维持声画时间同步。这一创新技术为视频编辑领域带来了全新的可能性，有望大幅提升创作效率。

InstructAV2AV的核心功能

InstructAV2AV提供了丰富多样的编辑功能，覆盖了视频编辑中的常见需求。其核心功能包括：

身份保持的语音修改

该功能允许用户在保留人物形象的前提下，仅替换其说话内容。例如，将视频中人物的台词从“你好”改为“再见”，而人物的外貌、表情和动作保持不变。这对于影视后期中的台词调整尤为实用，无需重新拍摄即可修改对白。

音视频实例替换

用户可以将画面中的指定人物连同其声音和台词一起更换。例如，将视频中的主角A替换为角色B，同时B的声音和台词也相应改变。这一功能在影视制作中可用于角色替换，或在广告中更换代言人。

实例插入

向画面中添加新对象，并自动生成与之同步的声音。例如，在视频中插入一只猫，模型会生成猫的叫声，并确保声音与猫的动作同步。这为创意内容制作提供了极大的灵活性。

实例移除

删除指定对象及其在音轨中的对应声音。例如，移除视频中背景中的路人，同时消除其说话声或脚步声，而保留其他环境声。这对于清理视频素材非常有用。

属性组合编辑

人物外观、说话内容和音色可以分别独立修改并自由组合。例如，将人物A的外观与人物B的声音结合，同时修改其台词。这种细粒度的控制能力使得创作者能够实现高度定制化的编辑效果。

技术原理深度解析

InstructAV2AV的强大功能背后，是一系列创新的技术设计。其核心架构基于Ovi对称双流扩散Transformer，并引入了多项关键机制。

源潜变量拼接

在扩散模型的去噪过程中，InstructAV2AV将源视频与源音频的潜变量与噪声沿通道维度拼接，使源内容成为整个去噪过程的结构条件。这一设计约束模型保留背景、无关对象和环境声，避免“改一个目标、重绘整个世界”的问题。通过这种方式，模型能够精准地只修改用户指定的部分，而保持其他内容不变。

SIGA门控注意力

SIGA（Source-Instruction Gated Attention）是InstructAV2AV的另一大创新。该机制让每个token同时与源特征和指令特征交互，通过可学习的软门控逐位置决定改多少、留多少。这种动态平衡机制使得模型能够根据指令的语义，灵活调整修改的幅度，既保证指令的执行，又避免过度修改。

双流交互架构

InstructAV2AV基于Ovi对称双流扩散Transformer，视频与音频分支各自进行自注意力建模后，通过双向跨模态注意力交换特征。这种设计使得视觉运动与声音事件相互约束、保持同步。例如，当视频中人物张嘴说话时，音频分支会生成相应的语音；反之，音频中的声音变化也会影响视觉内容的生成。

两阶段训练策略

为了训练这一复杂的模型，研究团队采用了两阶段训练策略。第一阶段，关闭跨模态注意力，分别训练单模态编辑能力，使模型掌握视频和音频各自的编辑规律。第二阶段，恢复完整架构，进行联合微调，学习声画之间的细粒度对应关系。这种分阶段训练方法有效提高了训练的稳定性和最终性能。

自动化数据流水线

训练数据是模型性能的关键。InstructAV2AV构建了InsAVE-80K数据集，通过素材筛选、编辑目标合成、五维自动评估加人工复核三阶段流程，解决了成对训练数据稀缺的问题。这一自动化流水线不仅提高了数据构建效率，还保证了数据质量，为模型训练提供了坚实基础。

如何使用InstructAV2AV

对于技术用户而言，使用InstructAV2AV需要一定的编程基础。以下是基本的使用步骤：

  1. 克隆代码：从GitHub克隆InstructAV2AV代码仓库到本地。
  2. 配置环境：按照仓库说明配置Python环境并安装所需依赖。
  3. 下载权重：从Hugging Face下载InstructAV2AV模型权重。
  4. 准备素材：准备一段带声音的视频素材作为输入。
  5. 输入指令：输入一句自然语言编辑指令，描述想要修改的内容。
  6. 运行推理：运行推理脚本，等待模型生成编辑后的视频与音频。
  7. 保存结果：查看输出结果并保存编辑完成的音视频文件。

尽管步骤看似简单，但实际运行需要一定的硬件资源，尤其是GPU显存。对于非技术用户，可能需要等待官方提供在线演示或API服务。

项目资源与获取

InstructAV2AV的项目资源已全面开源，用户可通过以下渠道获取：

与同类竞品的对比

在音视频联合编辑领域，InstructAV2AV并非孤例，但其定位与现有产品有明显差异。以Ovi为例，Ovi是一款音视频联合生成模型，能够从文本提示词生成全新的视频和音频，但不支持编辑现有素材。而InstructAV2AV则专注于在源视频基础上进行修改，能够精准保留背景和环境声，并保证声画同步。两者在技术架构上有相似之处，但应用场景截然不同。InstructAV2AV更适合需要修改现有内容的场景，而Ovi则适合从零开始的创意生成。

应用场景展望

InstructAV2AV的应用场景广泛，尤其在以下领域具有巨大潜力：

影视后期

影视后期人员可以利用InstructAV2AV替换演员台词并同步口型，无需重新拍摄即可修改对白，大幅降低补拍成本。同时，该模型还能用于移除画面中的穿帮物体或人物，提升成片质量。

短视频制作

短视频创作者常常需要快速修改素材以适应不同平台或受众。InstructAV2AV允许用户一句话修改素材中的人物与声音，极大提升创作效率。例如，将一段视频中的主角替换为其他人物，并调整其台词，即可生成多个版本。

虚拟人运营

虚拟人运营团队需要频繁调整数字人的外观、音色与说话内容。InstructAV2AV的属性组合编辑功能使得这些调整变得简单快捷，无需重新建模或录制音频。

广告创意

广告从业者需要针对不同受众制作多个版本的宣传视频。InstructAV2AV可以批量生成不同人物与台词版本的视频，节省大量时间和成本。例如，为同一产品制作不同代言人版本的广告。

交互式内容生产

游戏与教育工作者可以利用InstructAV2AV动态生成音画一致的多媒体素材。例如，在游戏中根据玩家行为实时生成角色对话和动作，或在教育视频中根据教学需要插入或替换内容。

未来发展与挑战

尽管InstructAV2AV取得了显著成果，但仍面临一些挑战。首先，模型的编辑效果依赖于指令的清晰度，对于复杂或模糊的指令，可能无法准确执行。其次，模型在处理高分辨率视频时可能面临计算资源瓶颈。此外，声画同步的精度仍有提升空间，尤其是在快速运动或复杂场景下。

未来，研究团队计划进一步优化模型架构，提高编辑精度和效率，并探索更多应用场景。同时，随着开源社区的参与，InstructAV2AV有望不断完善，成为音视频编辑领域的重要工具。

结语

InstructAV2AV作为智源与北大联合开源的音视频联合编辑模型，以其创新的技术设计和强大的功能，为视频编辑领域带来了新的突破。通过自然语言指令，用户能够轻松实现声画同步的精准编辑，极大地提升了创作效率。随着技术的不断成熟和应用的深入，InstructAV2AV有望在影视、广告、虚拟人等多个领域发挥重要作用，推动多媒体内容创作进入新的阶段。