NVIDIA发布日语PII合成数据集，解决业务文档隐私保护难题

0 阅读

为什么日语业务文档的隐私保护这么难？

在处理日语业务文档时，AI开发者常面临一个两难困境：要么为了安全过度屏蔽信息，导致文档失去业务价值；要么屏蔽不足，造成隐私泄露风险。

这个问题在日语语境下尤为棘手。比如，同一个名字在医疗场景中是“患者”，在金融场景中是“申请人”，在行政文件中又是“届出人”。角色不同，处理逻辑就不同。此外，日语中的日期表达既有西历也有和历（如“昭和55年”），地址格式复杂到包含建筑物名称和房间号。如果AI模型不能准确理解这些上下文，就很难在保留关键业务信息（如贷款目的、诊疗经过）的同时，精准抹去个人身份信息（PII）。

为了解决这个问题，NVIDIA最近发布了Nemotron PII Japan数据集。这不是简单的文本集合，而是一套包含10万份合成业务文档、带有精确PII位置标注的开源数据。它的目标很明确：让开发者能在不使用任何真实客户数据的前提下，测试和优化AI应用在隐私保护方面的表现。

10万份合成文档，覆盖8大核心领域

Nemotron PII Japan的核心价值在于其规模和多样性。数据集收录了10万份合成的日语文档，涵盖了医疗、金融、行政、雇佣、教育、法务、通信IT以及电子商务这8个主要领域，细分下来共有43种具体的文档类型。

这种覆盖面意味着它不仅能测试通用的姓名、地址识别，还能应对特定行业的复杂场景。例如：

  • 金融领域：贷款审查书。文档中同时出现借款人的姓名、和历出生日期、包含房间号的详细地址、银行账户信息，以及借入金额、还款计划等业务数据。测试重点在于能否在屏蔽个人信息的同时，保留借款目的和审查理由。
  • 医疗领域：诊断书。包含病名、症状経過、疗养限制和医生意见。难点在于如何隐藏患者身份，但保留诊疗所需的医学上下文。
  • 行政领域：居民异动届。涉及申报人和异动人的姓名、地址及异动去向，考验模型对多主体信息的区分能力。
  • 雇佣领域：工资联系票。包含年月、总支付额、扣除明细、实发金额及转账账户。这是人事数据共享前必须处理的典型敏感文档。
  • 其他领域：还包括入学愿书（教育）、委任状（法务，需区分委任者与受任者）、安全事件报告（IT，需去除模拟泄露的秘密值）以及购买者咨询记录（EC，需去除联系方式以便LLM总结）。

所有数据均基于CC BY 4.0许可发布，允许商业和非商业用途，这为构建通用的隐私保护基准提供了可能。

“先算后写”：确保合成数据的逻辑真实性

很多合成数据集的一个通病是“看起来像真的，但经不起推敲”。比如，贷款金额和月供对不上，或者出生日期和年龄矛盾。Nemotron PII Japan通过一套严谨的生成管道解决了这个问题。

1. 目录与人物画像

生成过程始于“目录”和“人物画像”。系统使用了NVIDIA之前的合成人物数据集Nemotron Personas Japan作为基础，提取姓名、年龄、职业、居住地等属性。同时，准备了公司、银行、医疗场景等业务素材库。在生成医疗文档时，系统会确保症状、检查设施和部门之间的逻辑关联，避免将无关的病症和设施强行组合。

2. CalculationPlan：先计算，再生成

对于涉及数值计算的文档（如金融贷款），系统引入了CalculationPlan机制。在LLM生成文本之前，插件会根据借入额、利率、期限等条件，预先计算出每月还款额、总还款额等数值，并确定审查结果（如“基准内”）。

这意味着，LLM不需要进行数学运算，它只需要根据预设的结构和占位符生成自然语言描述。这种做法保证了文档中的数值在数学上是严格正确的，避免了LLM常见的“幻觉”问题。

3. Placeholder机制：确保标注精准

在生成过程中，所有的PII（如姓名、邮箱）和计算结果（如月供金额）都使用特殊的占位符（Placeholder）表示，例如__JP_PII_LAST_NAME_1__或__JP_PLAN_MONTHLY_REPAYMENT__。

LLM生成的文本中只包含这些占位符。生成完成后，系统再通过程序将这些占位符替换为确定的合成值。这样做有两个好处：

  1. 标注零误差：因为替换是程序化的，所以PII在文本中的起始和结束位置（Span）可以精确得知，无需依赖后续的正则表达式或模型去猜测位置。
  2. 一致性校验：如果最终文本中残留了未替换的占位符，或者替换后的值与计划不符，系统可以立即标记为错误。这确保了数据集的高质量。

数据集结构与技术细节

对于技术人员来说，Nemotron PII Japan的数据结构非常友好且规范。

  • 数据量：100,000份文档，总计约3,474万个Token（基于NVIDIA Nemotron Nano 9B v2 Japanese分词器统计）。
  • PII标注：共810,703个PII Span，平均每份文档约8.11处。
  • 标签体系：支持56种PII实体类型。除了常见的姓名、地址、邮箱、账号、マイナンバー（日本个人编号）外，还细致区分了日期、时间、医疗机构名、教育机构名和公家机构名。
  • 格式：提供两种形式，一种是带有标签的自然文本，另一种是结构化的Span列表。Span列表记录了每个PII在原始文本中的起始位置（start）、结束位置（end）、具体文本内容（text）和标签类型（label）。

以一份贷款审查书为例，数据集中不仅提供了脱敏前的原文，还提供了带标签的版本（如[佐藤]last_name [陽奈美]first_name）以及对应的Span坐标。这使得开发者可以直接使用这些坐标来评估模型的检测精度，而无需自己重新对齐文本。

实测效果：微调后性能大幅提升

为了验证数据集的有效性，NVIDIA团队使用urchade/gliner_multi-v2.1模型进行了微调实验。

他们将10万份数据分为95,000份训练集和5,000份内部验证集。经过3个epoch的微调，模型在内部验证集上的F1分数从基线的较低水平提升到了98.08%。

更关键的测试在于外部泛化能力。团队使用了两个外部数据集进行评估：

  1. Sumi test：2,000份基于模板的合成PII评估数据。
  2. Sumi OOD：520份在Wikipedia、法令和文学文章中嵌入合成PII的数据，用于测试模型在非模板化、复杂语境下的表现。

评估指标采用了严格的“完全一致Micro F1”，并将56种标签映射为8个通用类别（姓名、电话、地址、邮箱、日期、URL、账号、卡号）。结果显示：

  • 在Sumi test上，微调后的模型F1分数从基线的13.41%提升至73.80%。
  • 在Sumi OOD上，F1分数从8.13%提升至65.30%。

这一巨大的提升幅度（超过60个百分点）证明，使用高质量、领域特定的合成数据进行微调，能显著增强模型对日语PII的识别能力，即使在面对非标准化的文本时也能保持较好的鲁棒性。

需要注意的是，这里的日期评估仅针对“出生日期”（date_of_birth），通用的日期和时间被排除在外，以避免因日期格式多样而产生的噪音。

如何在实际项目中应用？

Nemotron PII Japan不仅仅是一个学术研究工具，它对构建生产级AI应用有直接的指导意义。

1. 开发阶段的回归测试

在开发面向日本市场的AI应用时，你可以使用该数据集建立自动化测试流程。例如，在构建一个“贷款文档自动摘要”功能时，你可以用数据集中的贷款审查书作为输入，检查模型输出是否成功移除了姓名、地址和账号，同时保留了借款目的和审批理由。如果模型在某类文档上频繁出错，你可以针对性地增加该类文档的微调数据。

2. 评估PII检测模型的边界

由于数据集中包含了大量边缘案例（如复杂的地址格式、和历日期、多角色姓名），它可以用来压力测试你的PII检测模型。你可以观察模型在哪些类型的实体上容易漏报（False Negative）或误报（False Positive），从而优化预处理规则或调整模型阈值。

3. 注意事项

虽然数据集质量很高，但在使用时仍需注意几点：

  • 并非所有PII都被标注：标注是基于特定规则进行的，文中可能存在未被标注的潜在PII。因此，不能简单地将未标注部分视为“非PII”来计算误报率，否则会导致评估偏差。
  • 缺乏纯负样本：所有10万份文档都包含PII。如果你想测试模型在无PII文档上的误报率，需要另外准备不含PII的测试数据。
  • 合成数据的局限性：尽管合成数据在逻辑上自洽，但它毕竟不是真实世界的数据。真实文档中可能存在更多的噪声、错别字和非标准表达。因此，在模型上线前，务必使用真实的脱敏数据进行最终验证。

结语

Nemotron PII Japan的发布，为日语NLP社区提供了一份宝贵的资源。它通过“合成+精确标注”的方式，绕过了隐私合规的障碍，让开发者能够专注于提升AI模型的隐私保护能力。

对于正在构建面向日本市场的金融、医疗或行政AI应用的团队来说，这份数据集不仅是一个测试基准，更是一个训练素材库。通过利用这些数据，我们可以构建出既懂日语业务逻辑，又严守隐私底线的AI系统。

你可以通过Hugging Face直接加载数据集：

from datasets import load_dataset  
ds = load_dataset("nvidia/Nemotron-PII-Japan")

在隐私法规日益严格的今天，这种开放、透明且高质量的数据基础设施，或许是推动AI安全落地的关键一步。