蚂蚁开源 SingProbe：用轻量探针实时拦截大模型生成风险

不靠外挂，直接从模型内部“看”风险

大模型生成内容时，怎么确保它不说错话、不越界？目前主流做法是“外挂式审核”——等模型把内容全吐出来后，再交给另一个安全模型或规则引擎检查。这种方式简单直接，但有两个硬伤：一是延迟高，用户得等完整输出；二是没法中途干预，万一模型在第三句话就开始胡说，前面已经暴露了。

蚂蚁集团 AI 安全实验室最近开源的 SingProbe，走的是另一条路：不额外加一个“安检门”，而是直接在模型推理过程中“偷看”它的内部状态，实时判断当前生成的 token 是否有风险。官方数据显示，这套机制带来的额外计算开销还不到 0.5%，几乎可以忽略不计。

关键在于，SingProbe 利用了大模型推理时自然产生的隐藏状态（hidden states）。这些中间向量本来就是模型理解上下文、决定下一个词的基础。SingProbe 在此基础上加了一个极轻量的探针模块，复用已有计算结果，而不是重新跑一遍分析。这样一来，既省资源，又能做到真正的实时——每个 token 生成前就能评估风险。

一次判断，三件事一起干

SingProbe 的设计目标很明确：在最小代价下覆盖最核心的风险类型。它在一个统一框架里同时完成三项任务：

• 意图分类：判断当前输出是否偏离用户原始请求。比如用户问“如何缓解头痛”，模型却开始推荐某种未经批准的药物，这就属于意图漂移。
• 安全检测：识别是否包含违法、歧视、暴力等违规内容。
• 幻觉识别：检测模型是否在编造事实，比如虚构医学研究结论或不存在的法规条款。

这三项任务共享同一个轻量探针结构，避免为每类风险单独部署检测模块。在医疗、金融等高敏感领域，这种集成能力尤其重要——因为风险往往不是单一维度的。例如，一段关于药品副作用的错误描述，可能同时涉及幻觉（数据不实）、安全（误导用药）和意图偏离（用户只问了适应症）。

测试显示，在医疗问答场景中，SingProbe 能在模型输出第二个高风险 token 时就触发阻断，平均延迟控制在毫秒级。相比之下，外挂式方案通常要等整段回答生成完毕，耗时可能高出一个数量级。

适配29个模型，开源即用

SingProbe 并不是为某个特定模型定制的“私货”。蚂蚁团队已验证它在 29 个主流开源大模型上的兼容性，包括 Llama 系列、Qwen、ChatGLM、Baichuan 等。这意味着开发者拿到代码后，基本不需要重训整个模型，只需加载对应的预训练探针权重，就能快速集成到现有推理流程中。

开源仓库里提供了完整的训练脚本、推理示例和预训练权重。探针本身结构简单，通常由一两层线性变换组成，参数量极小。官方文档强调，整个集成过程“无需修改基座模型结构”，对部署环境友好。

值得一提的是，这是目前首个由大型科技公司开源的完整内生式安全解决方案。过去类似技术多见于学术论文，或作为商业产品的封闭功能。蚂蚁这次选择开放代码和模型，或许会推动行业从“事后审核”向“过程防护”演进。

为什么内生式安全越来越重要？

外挂审核在过去几年扛起了大模型安全的大旗，但它本质上是一种“补救”思路。随着模型能力增强，生成内容越来越长、越来越复杂，事后审核的短板愈发明显：

• 无法处理流式输出：很多应用场景（如客服对话、实时翻译）要求边生成边展示，等全部生成完再审等于放弃防护。
• 上下文割裂：外挂模型看到的是纯文本，丢失了原模型推理时的内部逻辑线索，误判率更高。
• 成本叠加：每次生成都要额外调用一个甚至多个审核模型，推理成本翻倍。

内生式方案则把安全能力“织”进推理过程本身。SingProbe 的做法尤其克制——它不改动主模型，也不引入复杂逻辑，只是在关键节点加一个“观察哨”。这种轻介入策略，平衡了效果、性能和工程落地难度。

当然，内生式也有局限。比如探针依赖基座模型的隐藏状态质量，如果主模型本身对某些风险不敏感，探针也可能漏检。因此，SingProbe 更适合作为第一道防线，配合后续的外挂审核形成纵深防御。

实际部署要注意什么？

虽然 SingProbe 声称开销极低，但实际集成时仍有几个细节需要关注：

首先是阈值调优。探针输出的是风险概率，最终是否阻断取决于设定的阈值。医疗场景可能设得严苛些（比如 0.7 就拦截），而普通聊天可以宽松点（0.9 以上才拦）。蚂蚁在开源包里提供了默认阈值，但建议开发者根据自身业务数据微调。

其次是多语言支持。目前公开的预训练探针主要基于中文和英文数据训练。如果要在小语种场景使用，可能需要自行收集标注数据重新训练探针头。

最后是对抗攻击的鲁棒性。理论上，恶意用户可能通过精心构造的 prompt 诱导模型隐藏风险信号。SingProbe 团队表示已在训练中加入对抗样本增强，但长期来看，这类探针仍需持续迭代以应对新型攻击。

开源不是终点，而是新起点

SingProbe 的开源，不只是放出一套工具，更传递了一种思路：大模型的安全防护不该是附加功能，而应成为推理过程的自然组成部分。用不到 0.5% 的计算代价换取实时风险拦截能力，在成本敏感的生产环境中极具吸引力。

对于中小企业来说，这意味着可以用较低门槛获得接近头部公司的安全能力；对于研究者而言，它提供了一个可复现、可扩展的内生安全基线。未来如果社区能贡献更多针对垂直领域的探针（比如法律、教育），这套框架的价值还会进一步放大。

目前项目已在 GitHub 开源，文档和示例相对完整。如果你正在部署大模型应用，又苦于审核延迟和成本问题，不妨试试这个“轻量级哨兵”。毕竟，在 AI 安全这件事上，早一步发现风险，就少一分损失。