通用数据安全风险评估框架无法覆盖生成式AI特有的风险场景——预训练数据来源的合规性追溯、生成内容的知识产权侵权与“幻觉”风险、用户交互数据的恶意指令注入——这些才是生成式AI企业真正需要面对的核心挑战。上海市委网信办指导的本手册最大的创新在于:将风险识别模块从通用评估表重构为“基础风险+三大专项”的四层体系,引导评估者沿着“数据输入→模型处理→内容输出→交互反馈”的完整闭环进行贯穿式风险识别。本文深度解析三大专项识别表的评估逻辑与实操要点。
为什么需要三大专项识别表
生成式AI行业具备数据依赖性高、模型与生成内容不可控、合规与伦理挑战三大特征。通用数据安全风险评估框架以“数据安全管理—数据处理活动—数据安全技术—个人信息保护”为结构,无法精准覆盖AI特有的风险场景。本手册的行业化适配将风险识别模块拆解为四层:基础风险识别表(覆盖通用合规要求)+预训练和优化训练数据风险识别表(模型训练前期的数据准备环节)+生成内容风险识别表(模型推理生成环节)+用户交互数据风险识别表(模型服务交互环节)。
专项一——预训练和优化训练数据风险识别
对应模型训练前期的数据准备环节,保障模型基础安全性与合法性。数据收集合法正当性:对自行收集的预训练数据,不应采集他人已明确不可采集的数据(如robots协议禁止爬取、网站声明禁止收集);收集开源数据集应遵循开源许可协议或取得使用授权文件;对从外部数据源收集的数据应记录数据来源(互联网网站记录URL,外部组织记录数据集名称和来源组织并保存授权文件)。涉及个人信息需取得同意,涉及数据跨境收集需符合法规要求。通过交易或合作收集数据时应对供应方进行审核。
数据预处理安全性:确保预处理环境安全,平台和工具安全性应与数据等级对应;定期对平台和工具进行安全测试;采用安全传输、存储技术保障数据安全;对涉及的个人信息采取去标识化处理,并将可用于恢复识别的信息与去标识化后的信息隔离存储。
数据预处理中的知识产权风险:制定训练数据知识产权管理策略和规则并明确负责人;数据用于训练前发现知识产权侵权问题的不应使用;建立针对知识产权问题的投诉举报渠道;在用户服务协议中向使用者告知生成内容的知识产权风险。
专项二——生成内容风险识别
对应模型推理生成环节,评估模型输出内容对社会、个人造成直接影响。传输链路安全性:敏感个人信息和重要数据传输应加密(选用安全密码算法,禁用MD5、DES-CBC、SHA1等不安全算法);部署身份鉴别、安全配置、密码算法配置、密钥管理等防护措施;对数据传输和接收进行记录和安全审计;对数据异常传输进行检测发现和处置。
数据删除管理:建立数据删除流程和审批机制;明确数据销毁对象、原因、销毁方式和操作规程;按法律法规、合同约定、隐私政策及时删除数据;委托第三方处理数据的应在委托结束后监督第三方删除或返还数据;验证数据删除有效性和彻底性并对多副本同步删除;明确数据存储期限并按期删除。
存储介质销毁:建立存储介质销毁管理制度和审批机制;明确各类介质销毁流程、方式和要求;对销毁过程进行监控和记录;验证介质销毁措施有效性并进行数据恢复验证;核心数据删除应采用存储介质销毁方式。
专项三——用户交互数据风险识别
对应模型服务交互环节,确保用户隐私和数据在交互过程中的安全性。身份鉴别与访问控制:建立用户、设备、应用系统的身份鉴别机制,身份标识具有唯一性;身份鉴别信息具有复杂度要求并定期更换(8位以上,数字大小写字母特殊字符3种以上组合,更换周期≤90天);登录失败时采取结束会话、限制非法登录次数等措施;远程管理时防止鉴别信息在网络传输中被窃听。建立与数据类别级别相适应的访问控制机制;以满足业务实际需要的最小化权限原则进行授权。
数据接口安全:面向互联网及合作方数据接口应进行认证鉴权与安全监控,限制违规接入;API密钥应安全存储,避免密钥被恶意搜索或枚举;涉及敏感数据的接口调用应具备安全通道、加密传输、时间戳等安全措施;定期对接口进行清查,不符合要求的立即关停;对接口访问做日志记录并对异常事件进行告警通知。