昆仑万维Matrix-Game3.5：如何用开源世界模型重构实时交互体验？
在生成式人工智能迅速演进的当下，视频生成模型正从静态的“图片生成器”向动态的“世界模拟器”跨越。然而，如何在一个连续的时空中保持物体的一致性、实现几何视角的精准控制，并支持实时的交互操作，一直是该领域极具挑战性的瓶颈。昆仑万维黎曼动力团队开源的Matrix-Game 3.5，正是针对这一痛点提出的系统性解决方案。它不仅是一个视频生成模型，更是一个支持分钟级回溯、具备三维空间级长期记忆的实时流式交互世界模型。这一开源项目的出现，标志着AI从“旁观者”向“参与者”角色的关键转变，为游戏开发、机器人训练及自动驾驶仿真提供了新的基础设施。
Matrix-Game 3.5的核心突破在于其独特的记忆架构。传统的视频生成模型往往难以维持长时间的场景一致性，当镜头回转或物体移出视野后，再次出现时往往发生形变或位置漂移。Matrix-Game 3.5引入了Patch Memory机制，将历史画面切分为三维空间坐标下的图像块（Patch）。这种基于空间位置的检索与重组方式，使得模型能够像人类记忆一样，在特定的三维坐标点“存储”场景信息。当需要重现某个物体或场景时，模型会直接从对应的空间位置提取信息，而非依赖模糊的时间序列记忆。这一创新使得物体重现得分突破了此前行业0.6的上限，有效解决了场景漂移问题，实现了真正的长时序一致性。
为了进一步确保几何视角的准确性，模型采用了PRoPE与Warped RoPE相结合的几何编码策略。在复杂的三维场景中，相机的旋转、平移以及投影关系对画面的几何结构有着决定性影响。PRoPE将相机位姿编码为相对位置码，无需引入额外的可学习参数，即可让Transformer感知相机的运动状态。而Warped RoPE则在此基础上，重新计算历史Patch在当前视角下的时空坐标，实现记忆复用时的坐标对齐。这种设计使得模型不仅能生成视频，还能精准理解“我在哪里”、“我看到了什么”以及“如果我移动，世界会变成什么样”，从而实现了精准的视角控制与几何一致性。
除了记忆与几何感知，动静解耦是另一个关键技术点。在现实世界中，静态背景与动态主体（如行走的人物、行驶的车辆）遵循不同的运动规律。Matrix-Game 3.5将静态场景由Patch Memory维护，而动态主体则通过轻量级的Reference Token保持身份一致性。这种解耦机制有效避免了移动物体污染记忆库导致的重影现象，确保了场景中既有静态元素的稳定性，又有动态主体的流动性。这种细致入微的处理，使得生成的世界更加逼真，符合物理世界的运行逻辑。
在实时性方面，Matrix-Game 3.5展现了惊人的效率优化。通过渐进式蒸馏技术，模型将原本复杂的采样步数压缩至仅3步。这一过程分为两个阶段：首先利用Perceptual Flow Matching获得高质量的少步因果初始化，随后通过Self-Rollout DMD（分布匹配蒸馏）在自回归轨迹上进行训练。配合分块因果推理、KV Cache、INT8量化以及VAE结构化剪枝，模型实现了单张GPU即可运行720P/20FPS的实时生成。这一性能指标意味着，用户可以在普通硬件上体验到流畅的实时交互，而无需依赖昂贵的集群算力。
数据管线也是支撑Matrix-Game 3.5性能的重要基石。构建高质量、大规模的三维场景数据是训练世界模型的前提。该团队构建了自动化数据管线，涵盖Unreal-Gen（虚幻引擎）、AAA游戏管线与互联网视频管线三类系统。通过这一管线，产出了500万+高质量视频切片及1万+小时的训练数据，覆盖了1200+游戏场景。这种多维度的数据源不仅丰富了模型的训练素材，也使其在面对不同风格的场景时具备更强的泛化能力。
从技术架构来看，Matrix-Game 3.5坚持“轻量化可插拔”的设计理念。核心交互功能，如PRoPE、Patch Memory和动静解耦，均不新增模型参数，而是以模块化插件的形式适配不同的视频基础模型。这种零参数增量的设计，不仅降低了部署门槛，还保留了基础模型原生开放内容的生成能力，避免了对原始视频分布的破坏。这种设计哲学体现了开源社区推崇的高效与通用性，使得该模型能够快速适配各种下游任务。
在与同类竞品的对比中，Matrix-Game 3.5的优势尤为明显。以Google Genie 3为例，虽然两者在分辨率上均为720P，但Matrix-Game 3.5在核心架构完全开源方面具有显著优势，便于开发者进行二次创新与优化。在交互时长上，Matrix-Game 3.5支持分钟级连续探索，远超Genie 3的数分钟限制。此外，其明确的三维空间块检索记忆机制，相较于Genie 3未公开的细节，为研究长时序一致性提供了可解释的技术路径。尽管Genie 3在实时帧率上宣称实时，但Matrix-Game 3.5在单卡20FPS的性能下，已实现了低延迟的可玩级别交互，且其数据管线更侧重于多样化场景的覆盖。
Matrix-Game 3.5的应用场景广泛，涵盖了从游戏开发到具身智能的多个领域。在游戏引擎方面，它有望替代传统游戏引擎，实时生成可交互的开放世界，大幅降低3A游戏的开发成本。对于机器人训练而言，该模型可作为虚拟训练沙盘，支持低成本的海量场景试错与长时序任务规划，加速人形机器人与机械臂的智能化进程。在自动驾驶领域，构建基于真实物理规则的交通场景数字孪生，用于端到端驾驶策略的训练，将成为提升自动驾驶安全性的关键手段。此外，在XR与元宇宙内容生成中，实时生成的沉浸式虚拟空间将支持用户的自由探索与内容创作，推动虚拟与现实的进一步融合。
使用Matrix-Game 3.5的过程相对简便。开发者可通过GitHub或HuggingFace获取权重与推理代码，并在单张支持CUDA的GPU上部署环境。输入控制方面，支持通过键盘WASD移动、鼠标控制视角，或输入文本提示与相机轨迹生成交互世界。模型以20FPS的流式输出后续帧，支持分钟级的连续探索而不丢失场景一致性。这种低门槛的使用方式，使得更多的研究者与开发者能够参与到世界模型的探索中来，共同推动这一技术的发展。
Matrix-Game 3.5的出现，不仅是一个技术模型的开源，更是一种生态的构建。它已被DiT作者谢赛宁团队（Solaris）、NVIDIA及Adobe等权威机构引用为基准，证明了其在行业内的认可度与影响力。通过开放核心架构，昆仑万维黎曼动力团队致力于打造一个开放的AI世界模型生态，鼓励开发者在此基础上进行创新，解决更复杂的现实问题。
值得注意的是，该模型在保持高性能的同时，并未牺牲内容的多样性与创造性。通过支持文本驱动的世界生成、角色动作控制与多智能体协同，Matrix-Game 3.5不仅是一个模拟器，更是一个内容创作平台。开发者可以通过简单的指令，生成复杂的故事线、动态的角色行为以及丰富的环境细节。这种能力对于AI辅助创作、互动叙事等领域具有巨大的潜力。
展望未来，随着算力的提升与算法的优化，实时流式交互世界模型将在更多领域落地。Matrix-Game 3.5作为开源领域的先行者，为其后的研究与应用奠定了坚实的基础。它不仅解决了长时序记忆与几何一致性的技术难题，更展示了AI在理解与模拟物理世界方面的巨大潜力。对于关注具身智能、机器人技术及游戏开发的从业者而言，Matrix-Game 3.5提供了一个极具价值的参考范例。
通过持续迭代与社区协作，Matrix-Game 3.5有望成为下一代智能系统的核心组件。它将帮助我们在虚拟世界中构建更真实的物理规则，在数字空间中培育更聪明的智能体，最终推动人工智能从感知智能向认知智能、行动智能的全面进化。这一开源项目的价值，不仅在于其代码的开放，更在于它为构建一个AI驱动的交互世界打开了大门。