数据治理与合规

训练数据是模型的一半，也是监管的重心：数据从哪来（来源）、能用吗（权利）、怎么用的（记录）——三个问题决定一个模型能不能安全地发布与商用。本章讲清楚训练数据治理的实践：来源与许可、隐私保护、以及合规的记录链。

数据治理的三个问题

问题	内容	风险
来源	数据从哪来的（爬虫/购买/自有）	来源不明的数据是合规炸弹
权利	有没有权利用它训练（许可/版权）	版权诉讼（真实的行业风险）
记录	怎么用的（血缘与审计）	无法自证清白

来源与许可：管道的前置

来源分级：

来源	合规风险	实践
自有/授权数据	低	最安全（业务数据、签约数据）
公开数据集	中（许可条款各异）	逐个核对许可（CC 系列、研究用途限制等）
网络爬取	高	robots 协议、版权风险、行业诉讼先例

许可的工程化：数据管道（见数据管道）里每个来源标注许可类型，管道按许可过滤（不允许商用的来源在预训练管道外）。

隐私保护：PII 与记忆化

PII（个人身份信息）的防护是隐私的核心：

手段	做法
管道级过滤	PII 检测器（姓名/邮箱/电话/身份证模式）在清洗阶段过滤
脱敏	检测到的 PII 替换/删除
去重（附带收益）	去重减少记忆化（重复数据更容易被逐字记住）

记忆化风险：模型会逐字记住训练数据（重复次数多的片段）——记忆化测试（用前缀让模型续写，看是否吐出训练数据原文）是发布前的专项测试；去重（见数据管道）同时降低质量风险与记忆化风险。

请求级隐私（推理侧）

推理服务的隐私（用户请求数据）：

手段	解决
请求日志的保留策略	用户 prompt 不无限保留（保留期 + 用途声明）
不用用户数据训练的承诺	用户数据默认不进训练（进训练要显式同意）
多租户隔离（见多租户隔离）	一个用户的请求对另一个不可见

合规的记录链

能自证清白的记录链是合规的核心资产：

数据集版本（不可变快照，见[数据管道](/storage-data/01-pipeline/data-pipeline.md)）
  + 来源清单（每个来源的许可与合规状态）
  + 清洗/过滤规则（版本化）
  + 训练实验的血缘（哪个模型用了哪个数据版本，见[实验管理](/platform-mlops/01-lifecycle/experiment-tracking.md)）
  = 完整的记录链：任何模型能回答"数据从哪来、怎么处理的"

记录链是"事后审计"的唯一防线：监管问询、版权纠纷、用户投诉——没有记录链的公司只能重走一遍数据考古（几乎不可能）。

治理的工程化

数据治理不是"合规部门的文件"，是管道的工程属性：

环节	工程化
数据摄入	来源注册 + 许可标注（元数据必填）
清洗管道	PII 过滤 + 许可过滤（管道内自动）
数据版本	快照 + 来源清单 + 规则版本（见数据管道）
训练	血缘记录（见实验管理）
发布	记录链审查（发布门禁的一部分）

实践清单

来源注册 + 许可标注必填（管道的元数据约束）
PII 过滤在清洗阶段（管道内自动，不靠人工）
数据快照不可变 + 来源清单（记录链的基石）
记忆化测试进发布门禁
用户数据默认不进训练（显式同意制）
记录链是发布门禁的一部分（能自证清白才能发布）

本章要点

治理三问：来源（从哪来）、权利（能用吗）、记录（怎么用的）——来源不明的数据是合规炸弹。
来源分级：自有/授权（低风险）> 公开数据集（逐个核许可）> 爬取（高风险）。
PII 防护在管道内自动：检测器 + 脱敏 + 去重（附带降低记忆化风险）。
记忆化测试进发布门禁；用户数据默认不进训练（显式同意制）。
记录链（数据快照 + 来源清单 + 规则版本 + 训练血缘）是事后审计的唯一防线——治理是管道的工程属性，不是文件。