拒绝背答案？腾讯WorkBuddy Bench如何重构AI智能体多领域真实能力评测
在人工智能从单一任务执行向复杂自主智能体（Agentic AI）演进的当下，如何精准量化模型的“实战”能力，成为了行业面临的核心痛点。过去，评测体系往往局限于代码修复、网页生成或特定办公场景的孤立测试，这不仅导致分数虚高，更让模型容易通过记忆公开题库而非真正理解逻辑来获得高分。腾讯最新发布的WorkBuddy Bench，试图打破这种割裂局面。它不仅仅是一个简单的基准测试集，更是一套将代码工程、前端开发、多文件办公流程以及网络安全攻防深度融合的综合性考场。这一举措标志着AI能力评估正从“知识检索型”向“综合解决型”发生根本性转变。
从“做题家”到“实干家”：构建防背题的抗污染屏障
WorkBuddy Bench最显著的创新在于其题目生成机制的彻底重构。传统评测基准如SWE-bench或Design2Code，往往依赖于从GitHub等公开平台抽取历史任务。然而，随着开源数据集的普及，这些数据极易成为大模型训练时的“标准答案”，导致评测失去区分度。WorkBuddy Bench采取了更为激进且严谨的“逆向工程”策略。
该基准包含260个真实任务，横跨代码（80个）、网页（70个）、办公（50个）和安全（60个）四大领域。这些任务并非直接复制粘贴，而是从真实的代码提交、拉取请求（PR）或具体业务场景中剥离出来，经过人工改写，转化为简短、口语化且带有角色扮演色彩的指令。这种处理方式的关键在于，提示词（Prompt）中不包含任何可直接用于搜索引擎匹配的关键字或PR线索。当智能体试图通过联网搜索来寻找“标准答案”时，会发现无从下手。这种设计从根本上切断了通过数据投毒或记忆训练数据来获取高分的路径，迫使模型必须依靠真正的上下文理解和逻辑推理能力来解决问题。
此外，数据集的发布方式也体现了对“抗污染”的重视。虽然任务目录、环境镜像、评估工具及测试用例均公开，但评估资产的引入被严格延迟至智能体执行之后。智能体在全程中无法预知测试用例，评分系统由确定性规则或独立判分器构成，确保了评测过程的公平性与不可预测性。
四维一体：独立验证与多模态评估的深度解耦
WorkBuddy Bench将工作场景划分为四个子集，每个子集拥有独立的验证逻辑，且分数不进行跨子集的直接比较。这种设计反映了不同工作域对“正确性”定义的差异，避免了用单一标尺衡量复杂能力的误区。
在代码领域，评估聚焦于仓库级软件工程。智能体需扮演开发者、算法工程师、产品经理、QA或运维等不同角色，面对信息不充分的环境，自行寻找上下文和目标文件。评分完全依赖于隐藏测试用例的通过率，这种黑盒测试方式最能反映代码的实际运行效果，而非仅仅通过代码静态分析。
网页生成子集则兼顾了规则检查与智能判定。除了基础的规则验证，评测引入了LLM/VLM（多模态大模型）以及智能体自身的评判机制。特别值得注意的是，智能体被要求交付一条在声明路径上的制品，且严禁连接实时互联网。这一限制模拟了开发者在离线或受限网络环境下的工作状态，强调了产出物的完整性和规范性。
办公自动化场景侧重于多文件业务流程的处理。该子集采用确定性规则检查为主（权重0.70-0.95），辅以基于证据的LLM评判。由于办公任务多涉及文本逻辑和流程合规，规则检查能够有效捕捉细粒度的错误，而LLM则负责评估语义合理性和流程连贯性。
安全领域则是WorkBuddy Bench中最具挑战性的部分。该子集完全摒弃了大模型作为裁判，转而使用确定性的scoring.py脚本，通过三次运行取平均值来确保评分的稳定性。安全测试分为红队（攻击）38题和蓝队（防御）22题，白盒审计锚定binutils、curl、nginx等真实漏洞（CVE）。更为关键的是，安全子集部署了五层反作弊机制，包括禁字面量扫描、输入重命名、覆盖篡改测试、编码依赖隔离以及低权重诱饵。这些措施共同构建了一个高强度的安全攻防实验室，确保测试结果不被简单的模式匹配所欺骗。
框架敏感性与推理效率：评测结果的深层解读
WorkBuddy Bench的排行榜不仅展示了模型的能力，更揭示了不同智能体框架对最终结果的巨大影响。评测在隔离容器中进行，默认使用CodeBuddy Code和Claude Code两种框架，上下文窗口高达200k，并明确禁用WebSearch和AskUserQuestion功能。这种高推理努力（Reasoning Effort）和低外部依赖的设置，使得评测结果更接近于高端智能体的真实潜力。
数据显示，Claude Opus 4.8在代码、网页、办公及安全多个榜单中占据主导地位，展现了极强的综合适应性。GLM-5.2在安全领域两榜登顶，而GPT-5.5则在办公自动化细分项中表现突出。然而，框架的敏感性不容忽视。在安全子集中，由于严格的规则判定，框架切换导致平均分绝对变动高达8.6个点。例如，Claude Opus 4.8在cc框架下拒答13次，而在cbc框架下仅拒答2次。这种差异表明，智能体的安全性边界判定高度依赖于底层框架的指令遵循能力和风险偏好。
效率也是评测的重要维度。GPT-5.5在保持高分的同时输出Token最少，显示出其在处理任务时的高信息密度和精准度。相比之下，DeepSeek-V4-Pro在代码任务中经历了44轮交互，出入Token量巨大，虽然最终可能完成任务，但其“费劲”的推理过程暗示了可能存在路径冗余或自我修正效率较低的问题。这些细微的差异，为开发者选择适合特定工作负载的智能体提供了宝贵的数据支持。
局限与未来：迈向更真实的通用智能体评估
尽管WorkBuddy Bench在抗污染和多领域整合上取得了显著突破，但其局限性也不容忽视。首先，代码子集以Python为主，跨语言支持相对薄弱，这可能低估了模型在处理C++、Java等语言时的真实能力。其次，办公子集偏重文本处理，尚未涵盖OCR（光学字符识别）和GUI（图形用户界面）交互，这与现实中复杂的办公自动化场景仍有差距。
此外，开源发布本身带来的潜在数据爬取风险，虽然通过版本管理得到缓解，但仍需持续监控。评判器本身的偏差尚未完全量化，LLM作为辅助评判者时可能引入的主观性仍需进一步校准。
腾讯优图实验室、科恩安全实验室、云鼎安全实验室及Workbuddy团队的联合研究，为AI智能体评估树立了一个新的标杆。WorkBuddy Bench不再满足于让模型在封闭的题库中“做题”，而是致力于还原真实工作中的混乱、信息缺失和多角色协作。随着网页评分的校准和公开榜单的扩充，这一评测体系有望成为衡量AI从“辅助工具”向“独立工作者”转变的关键标尺。对于开发者而言，关注此类高保真基准测试，有助于更理性地评估技术现状，避免陷入参数竞赛的幻觉，真正聚焦于提升智能体在复杂现实环境中的鲁棒性与实用性。