医生用AI开药引争议:我写了个工具验证每句话的出处

0 阅读

当AI走进诊室,谁来核实它说的话?

上周,一条关于“医生在诊室用AI查新药”的视频冲上热搜。视频里,患者家属质疑医生不专业,而医生则试图通过AI获取最新药物信息。这件事迅速演变成一场全网争论:我们到底该不该相信AI给出的医疗建议?

官媒随后的评论定调很明确:AI可以作为医疗的“外部监督员”,但诊疗的最终关口必须由医生守住。这句话听起来很稳妥,但它回避了一个更底层的技术问题——如果AI本身就在胡说八道,医生拿什么去监督它?

AI大模型有一个著名的缺陷叫“幻觉”,它会用极其自信的语气编造事实。在医疗这种容错率极低的领域,一个编造的 drug name(药物名)或错误的 dosage(剂量)都可能带来严重后果。既然我们不能盲目信任AI的输出,那就必须有一个独立的验证机制。

基于这个想法,我开发了一个名为 RefCheck 的小工具。它的逻辑很简单:不判断对错,只查证出处。它将AI生成的每一句医学陈述或参考文献,拆解后送入搜索引擎,看能否找到权威的源头支撑。如果有,标记为“已核实”;如果找不到,标记为“查无出处”或“存疑”。

为什么普通搜索搞不定这件事?

很多人第一反应是:“我自己百度一下不就行了?”或者“让AI自己检查一遍不行吗?”

这两个方案在实际操作中都行不通。

首先,让AI自查是无效的。大模型并不知道自己在撒谎,当你问它“这条文献是真的吗”,它往往会为了迎合你而再次编造一段确认信息,语气比第一次更笃定。

其次,普通搜索引擎的结果噪音太大。当你搜索一个复杂的医学术语时,排在前面的往往是营销号、健康自媒体或者是AI批量生成的“内容农场”文章。这些内容本身可能就是基于错误信息生成的,用它们来验证AI,等于是在垃圾堆里找金子。

这也是我选择接入元宝搜索的原因。与普通搜索不同,元宝搜索提供了结构化的数据返回,包括原始链接、发布时间和相关性打分。更重要的是,它支持 Industry(行业限定)和 Site(站点排除)等高级参数。

通过设置 Industry=acad,我们可以尝试锁定学术信源;通过 Site=exclude:xxx.com,我们可以直接屏蔽已知的低质内容农场。这把“查资料”和“查权威资料”做了物理隔离,是构建可信验证链路的基础。

RefCheck 的核心实现逻辑

整个工具的运行链路分为五个步骤:输入文本、抽取实体、构造查询、调用搜索、三重匹配判定。

1. 实体抽取与查询构造

AI生成的回答通常包含大量修饰性语句,如“患者应在医生指导下”、“根据临床需要”等。如果直接把整句话扔进搜索引擎,结果往往偏离核心事实。

因此,第一步是清洗。对于参考文献,我们提取“标题、期刊、年份”三个关键字段;对于医学陈述,我们提取核心实体,如药物名、病症、禁忌症等。例如,将“缬沙坦可能引起高尿酸血症”简化为查询词“缬沙坦 高尿酸”。

2. 调用元宝搜索 API

这里使用的是腾讯云的 WSA (Web Search API) SDK。代码层面并不复杂,但有几个容易踩的坑。

from tencentcloud.common import credential
from tencentcloud.wsa.v20250508 import wsa_client, models
import json

# 初始化客户端
cred = credential.Credential(SECRET_ID, SECRET_KEY)
client = wsa_client.WsaClient(cred, "")
req = models.SearchProRequest()

# 构造请求
req.Query = query
req.Mode = 2          # 混合模式:公开网页 + 权威垂直信源
req.Cnt = 10          # 返回结果数量
req.Industry = "acad" # 尝试限定学术信源
req.Site = "exclude:baidu.com|sohu.com" # 排除特定站点

# 发送请求
resp = client.SearchPro(req)

# 解析结果:注意 Pages 是 JSON 字符串数组
pages = [json.loads(p) for p in resp.Pages]

这段代码看似简单,但在实际调试中,我发现 Response.Pages 返回的不是对象数组,而是 JSON 字符串数组。这意味着每个元素都需要二次解析 json.loads(),否则拿到的全是字符串,无法提取字段。这种细节在官方文档中往往一笔带过,只有真正调过接口的人才会知道。

3. 三重匹配与判定

拿到搜索结果后,不能简单地看“有没有结果”,因为搜索引擎永远会给你凑够10条结果,哪怕你要找的东西根本不存在。我们需要从三个维度进行打分:

  • 关键词重合度:搜索结果标题与查询实体的相似程度。
  • 来源权威性:是否来自药品监管局、核心期刊、官方指南等白名单域名。
  • 时效性:发布时间是否在合理范围内。

基于这三个维度,我们将结果分为三档:

  • 已核实:高重合度 + 权威来源。
  • 存疑:有结果,但来源较弱(如百科、聚合站)或重合度一般。
  • 查无出处:未找到任何相关支撑材料。

保留“存疑”这一档非常重要。查不到不代表结论错误,可能只是文献太冷门或表述差异大。非黑即白的判定会让工具失去参考价值。

实战测试:AI 真的在瞎编吗?

为了验证工具的有效性,我设计了两组实验。

实验一:参考文献溯源

我让通用大模型生成了20条护理学和病理学方向的参考文献。这些文献格式完美,期刊名、卷号、页码一应俱全。肉眼几乎无法分辨真假。

使用 RefCheck 逐条核查后,结果如下:

  • 11条可溯源:能在权威期刊官网或数据库中找到对应文章。
  • 7条存疑:标题能搜到,但来源是“博禾医生”、“民福康”等内容聚合站,或者命中了百度百科。这些内容虽然可能存在,但不具备学术引用价值。
  • 2条查无出处:全网搜索无任何匹配,确认为完全编造。

这个结果比我预想的要好。原本以为AI会大规模编造,但实际上大部分文献是有原型的,只是AI可能在细节上做了微调,或者引用了非学术来源。对于学生写论文来说,那7条“存疑”的文献如果直接引用,依然会被导师打回。

实验二:复刻热搜场景

我模拟了热搜中的场景,向AI提问:“高血压患者,对地平类降压药过敏,尿酸偏高,有哪些替代用药?”

AI 给出了详细的建议,我从中抽取了19条事实性陈述进行核查:

  • 12条有出处:例如“氯沙坦具有促尿酸排泄作用”,在科普中国和卫健委文章中找到了支撑。
  • 4条弱支撑:来源不够权威或表述有偏差。
  • 3条未找到:其中一条提到“避开盘托洛尔”,但中文资料中查无此药,疑似译名错误或模型臆造(实际应为吲哚洛尔 Pindolol)。

这个实验揭示了一个关键问题:AI 的建议听起来非常专业,但其中混杂着细微的错误。如果没有工具辅助,普通用户甚至医生很难瞬间识别出“盘托洛尔”这个生僻且可能错误的译名。

文档里不会写的六个坑

在开发过程中,我踩了不少坑,这些经验比代码本身更有价值。

1. Mode=1 参数慎用 文档描述 Mode=1 为“优质权威垂直信源”,看起来最适合查文献。但实测中,该模式返回结果极少,甚至经常返回0条,且依然扣除调用额度。对于中文语境下的医学搜索,Mode=2(混合模式)反而效果更好。

2. Industry=acad 会误伤中文文献 设定 Industry=acad 本意是筛选学术内容,但它似乎过度过滤了知网、维普等中文数据库的内容,导致大量中文文献无法命中。在查询中文医学资料时,不限定行业反而更全。

3. Score 分值不可靠 官方文档称 score 取值0-1,越接近1越相关。但实测中,同一查询两次调用,score 分别为 0.777 和 3.832。显然,这个分值的计算逻辑并不透明,且不稳定。因此,我只用它做排序,不做阈值判定。

4. 返回10条不等于找到了 搜索引擎的机制是“尽力返回”,即使没有完全匹配的结果,它也会返回主题相近的内容。因此,“有结果”不能作为验证通过的依据,必须人工或算法核对内容的匹配度。

5. 百度百科的高匹配陷阱 查询“中国高血压防治指南”,百度百科往往排名第一且匹配度100%。但学术论文或专业报告中严禁引用百度百科。因此,我在工具中将百度百科和内容农场单独列为“低权重”,永不标记为“已核实”。

6. 实体过少导致虚高 如果一句陈述只包含“监测血钾”两个实体,那么任何提到血钾的文章都会匹配成功,但这并不代表文章支持该结论。对于实体过少的句子,工具会保守地标记为“弱支撑”,避免给出错误的“已核实”信号。

结语:技术不是终点,信任才是

RefCheck 只是一个原型工具,它不能替代医生的诊断,也不能保证100%的准确率。它的核心价值在于提供了一种“可验证”的可能性。

在AI日益普及的今天,我们面临的挑战不再是“如何获取信息”,而是“如何验证信息”。当AI能够生成完美的谎言时,唯一的解法就是建立一套独立的、基于真实数据源的核查机制。

对于普通用户而言,下次再看到AI给出的惊人建议时,不妨多问一句:“这话有出处吗?”而对于开发者而言,利用搜索API构建这样的验证层,或许是让AI从“好玩”走向“好用”的关键一步。

目前,RefCheck 的代码已在 GitHub 开源。如果你也对AI可信度感兴趣,欢迎一起交流改进。

免责声明:本工具及文章内容仅供技术交流与参考,不构成任何医疗建议。身体不适请务必前往正规医疗机构就诊,遵医嘱治疗。