告别DOM依赖：Qwen-CUA如何以纯视觉重构原生计算机交互范式
在人工智能技术飞速迭代的当下，大型语言模型的能力边界正从单纯的文本生成与逻辑推理，迅速扩展至对物理世界及数字环境的直接操控。计算机使用代理（Computer Use Agent, CUA）作为这一演进方向的核心载体，旨在让AI像人类一样通过图形用户界面（GUI）与计算机进行交互。然而，长期以来，现有的自动化解决方案大多受限于对底层代码结构的依赖，难以真正实现对复杂、异构软件环境的通用化操控。阿里Qwen团队与XLang Lab联合推出的Qwen-CUA，正是针对这一痛点提出的创新性解决方案，它通过纯视觉感知与原生输入模拟，重新定义了AI与数字世界的交互方式。
传统自动化脚本或早期AI代理在执行任务时，往往需要访问网页的DOM树、应用程序的无障碍元数据或特定的API接口。这种依赖导致了极大的局限性：一旦界面结构发生微小变化，或者面对没有开放接口的专业软件，自动化流程便会立即失效。Qwen-CUA的核心突破在于彻底摒弃了这些结构化信息的依赖，转而采用类似人类的“视觉感知”模式。它仅通过屏幕截图来理解当前的界面状态，识别按钮、输入框、菜单等视觉元素，并直接输出键盘敲击和鼠标移动点击事件。这种“所见即所得”的操作逻辑，使得Qwen-CUA具备了极强的跨平台通用性，无论是Windows、macOS还是Linux系统，无论是Chrome浏览器、Excel表格还是MATLAB等专业科研软件，只要拥有图形界面，Qwen-CUA均能实现无缝操控。
支撑这一强大能力的，是其背后深厚的技术架构底座。Qwen-CUA基于Qwen3.5-397B-A17B混合专家（MoE）架构构建。这一架构设计巧妙地平衡了模型的表达能力与推理成本。虽然模型总参数量高达3970亿，但在每次前向传播过程中，仅激活170亿参数。这种稀疏激活机制不仅大幅降低了计算资源的消耗，还保证了模型在处理复杂多模态任务时的高效性。更为引人注目的是其Max版本，参数量突破万亿级别，进一步提升了模型在复杂场景下的推理精度与泛化能力，在OSWorld-Verified基准测试中取得了87.6分的高分，确立了其在开源CUA领域的领先地位。
在注意力机制的设计上，Qwen-CUA引入了创新的混合注意力策略。传统的Transformer架构在处理长序列时面临计算复杂度呈平方级增长的问题，这限制了模型对长上下文的理解能力。Qwen-CUA采用了GatedDeltaNet线性注意力与Gated Full Attention按75:25比例交替排列的结构。这种设计将长序列的计算复杂度从O(n²)降低至接近线性水平，使得模型能够高效处理长达256K的上下文信息。相较于传统架构，其吞吐量提升了19倍，这意味着Qwen-CUA能够在长时间的任务执行过程中，保持对历史操作记录和环境状态的完整记忆，从而做出更加连贯、准确的决策。
专家路由机制是MoE架构的另一大亮点。Qwen-CUA在每一层配置了512个细粒度路由专家，通过Top-10选择策略配合权重重归一化技术，动态激活最相关的专家网络。此外，模型还引入了一个共享专家与sigmoid门控机制，用于自适应调节通用知识的贡献度。这种精细化的路由设计有效避免了信息在传递过程中的损失，确保模型在面对不同领域的任务时，都能调动最合适的专业知识模块进行处理。例如，在处理数据分析任务时，模型会自动强化数学与逻辑相关的专家权重；而在进行界面识别时，则侧重调用视觉编码相关的专家资源。
视觉编码与定位技术是实现纯视觉感知的关键。Qwen-CUA继承了Qwen-VL系列的ViT（Vision Transformer）架构，支持动态分辨率输入，能够适应不同尺寸和比例的屏幕截图。配合MRoPE（Multimodal Rotary Positional Embeddings）多模态旋转位置编码技术，模型能够同时编码时间、高度和宽度三维信息。这种三维编码方式使得模型不仅能识别界面元素是什么，还能精准定位其在屏幕上的具体坐标。这种高精度的空间定位能力，是确保鼠标点击、拖拽等操作准确无误的基础，也是Qwen-CUA区别于其他仅能生成文本指令的模型的重要特征。
在实际应用场景中，Qwen-CUA展现出了巨大的潜力。对于软件测试行业而言，传统的UI回归测试需要编写大量针对特定页面结构的脚本，维护成本极高。Qwen-CUA可以通过视觉识别自动执行点击、输入、滚动等操作，无需关心底层代码实现，极大地提高了测试效率与覆盖率。在企业办公领域，RPA（机器人流程自动化）通常需要对现有IT系统进行改造或依赖特定插件。Qwen-CUA可以直接操控ERP系统、财务软件等封闭环境，完成数据录入、报表生成等重复性任务，实现了真正的“非侵入式”自动化。
此外，Qwen-CUA在无障碍辅助方面也具有重要意义。对于视障用户或老年人来说，许多专业软件复杂的界面构成了使用门槛。Qwen-CUA可以充当智能助手，自动识别界面元素并代为执行精确操作，如调整字体大小、导航菜单、填写表单等，显著降低了数字鸿沟。在科研领域，许多专业软件如SPSS、MATLAB缺乏完善的API接口，研究人员往往需要手动处理大量数据。Qwen-CUA可以批量执行实验数据处理、图表生成等长周期任务，释放科研人员的精力，使其专注于核心创新工作。
与OpenAI的CUA或Operator等闭源竞品相比，Qwen-CUA的优势不仅在于其开源开放的生态，更在于其技术路线的纯粹性与通用性。OpenAI的方案往往依赖于其生态系统内的结构化辅助信息，而Qwen-CUA坚持纯视觉感知，零DOM依赖，使其在任何有图形界面的环境中都能保持一致的性能表现。在OSWorld-Verified基准测试中，Qwen-CUA的86.2分远超同类开源模型，甚至优于部分闭源方案的历史数据。更重要的是，Apache 2.0协议的开源授权，允许研究者和开发者自由下载技术报告、参考Demo，并进行二次开发与扩展，这将极大促进CUA技术的社区创新与应用落地。
当然，纯视觉感知方案也面临着挑战。例如，在处理极度相似但语义不同的图标时，可能需要更高的视觉分辨能力；在动态变化的视频流或高频刷新界面中，对实时性的要求也更为苛刻。但随着模型参数的扩大、训练数据的丰富以及推理引擎的优化，这些问题正在逐步得到解决。Qwen-CUA的出现，不仅仅是一个新模型的发布，更是AI代理技术从“辅助工具”向“自主主体”转变的重要里程碑。它证明了不依赖底层代码结构，仅凭视觉感知与原生交互，AI同样能够高效、准确地操控复杂的数字世界。
未来，随着多模态大模型能力的进一步提升，我们有理由相信，类似的CUA技术将深入到我们数字生活的方方面面。从个人电脑的智能管家，到企业级的自动化运营中枢，再到云端7×24小时无人值守的Agent托管服务，Qwen-CUA所代表的技术路径将为构建更加智能、高效、包容的数字社会提供坚实的技术底座。对于开发者而言，现在正是深入探索这一领域，利用开源资源构建垂直行业应用的最佳时机。通过接入本地或云端环境，结合具体的业务需求，Qwen-CUA有望成为推动各行各业数字化转型的新引擎。