当生成式AI企业面临训练数据泄露、生成内容侵权、用户交互数据滥用三重风险时，一套系统化的风险评估工具成为行业刚需。上海市委网信办指导、上海市信息安全测评认证中心技术支持的本手册，将通用风险评估框架拆解为“基础风险+三大专项”的四层识别体系，从预训练数据来源记录（URL、开源协议）到生成内容的知识产权与幻觉风险，从用户交互数据的Prompt注入防御到会话日志合规留存，为企业自主评估、第三方机构检查和主管部门监管提供了全流程操作指南。
政策背景与评估目标
本工作手册的编制依据涵盖《网络安全法》《数据安全法》《个人信息保护法》《网络数据安全管理条例》《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》《上海市数据条例》等法律法规，以及GB/T 45577-2025《数据安全技术 数据安全风险评估方法》、GB/T 45652-2025《网络安全技术 生成式人工智能预训练和优化训练数据安全规范》、GB/T 45654-2025《生成式人工智能服务安全基本要求》等国家标准。
评估核心目标聚焦“三类核心资产”：训练数据集——原始数据、标注数据及清洗后的训练样本，泄露可能导致隐私侵权、商业秘密曝光或模型被逆向复现；生成内容输出——文本、图像、代码等AI生成成果，若含敏感信息或侵权内容可能引发法律纠纷；用户交互数据——用户输入提示词（Prompt）、反馈数据及会话日志，需防范滥用导致的隐私泄露。
行业化适配——四层风险识别体系
本手册在GB/T 45577-2025通用风险评估框架基础上进行行业化适配，将通用评估表依据生成式AI服务特有的数据处理环节与核心资产类型，拆解为“基础风险识别表”与三大“专项风险识别表”。
基础风险识别表（附录2.1）继承通用识别表的全面性，确保数据安全管理、数据处理活动、数据安全技术及个人信息保护方面的基础合规要求得到全面覆盖。
预训练数据和优化训练数据风险识别表（附录2.2）对应模型训练前期的数据准备环节，聚焦数据采集源头合规性（开源协议遵循、版权审核、多源比例）、预处理安全与伦理风险（数据投毒检测、偏见过滤）、数据使用管控（跨境传输、批次管理）。要求记录数据来源URL、数据集名称、授权文件，单一数据源比例不超过总量的1%。
生成内容风险识别表（附录2.3）对应模型推理生成环节，重点关注生成内容有害性（虚假信息、深度伪造、不当内容）、知识产权侵权风险、内容滥用带来的社会危害。首次将“知识产权侵权风险”与“幻觉风险评估”纳入评估体系。
用户交互数据风险识别表（附录2.4）对应模型服务交互环节，聚焦用户输入（Prompt）的敏感性与风险（恶意指令注入）、会话日志留存与保护、用户反馈数据使用合规性。
五阶段评估流程
评估准备：明确评估范围（可覆盖全业务链条或聚焦某一技术环节），组建评估团队（CSO/DPO任组长，管理评估组+安全技术组），制定评估方案（含评估概述、范围、内容和方法、人员、实施计划、工作要求、测试方案）。
信息调研：涵盖企业基本情况（全称、性质、商业模式、核心业务类型）、全业务链条及技术架构（模型名称、适用人群、服务入口、训练算力资源）、数据资产（训练数据集/模型资产/用户交互数据/运营数据）、数据全生命周期处理活动（收集/存储/使用/加工/传输/提供/公开/删除/出境）、安全防护措施（等保/密评/安全评估/备案/网络安全设备/加密脱敏）。
风险识别：涉及数据安全管理、数据处理活动、数据安全技术、个人信息保护四方面，评估方法包括人员访谈、文档查验、安全核查、技术测试。
综合分析：风险分析梳理风险隐患形成问题清单，风险评价从危害程度（低/中/较高/高/很高五级）和发生可能性（低/中/高三級）两个维度综合评定。
评估总结：编制评估报告（含评估概述、信息调研、风险识别、风险分析与评价、整改建议、风险源清单），高风险立即整改，中低风险限期完成。
附录工具包
附录1含5张信息调研表（企业基本情况、业务链条及技术架构、数据资产、数据全生命周期处理活动含17张子表、安全防护措施含8张子表）。附录2含4大类30+张风险识别表。附录3提供23类典型数据安全风险类型、五级风险危害程度评价标准、三级风险发生可能性评价标准及风险评价矩阵。附录4提供标准化评估报告模板。
