返回顶部
返回首页 会员充值 我的足迹 返回上一页
跳转三个皮匠报告小程序

美国科学家联合会(FAS):2026风险交织:人工智能与全球安全未来研究报告(英文版)(77页).pdf

2026-07-21
文档编号:1280516
文档页数:77
文档大小:1.39MB
下载积分:VIP专享
文档格式:PDF 中文版 DOCX
核心结论速览: AI正在重塑全球安全风险的结构,从“单一领域风险”向“系统性风险”转变:报告构建了“威胁×脆弱性×后果(TVC)”分析框架,揭示AI不再是独立的技术政策议题,而是嵌入核安全、生物安全、网络安全、军事决策等领域的通用能力,风险从交互中涌现。 政策制定者必须在不确定条件下行动——等待确定性证据本身就是风险:报告提出“证据困境”——AI能力发展速度快于证据积累速度,过早行动可能锁定错误干预,过晚行动可能错过干预窗口。政策需在多种可能的未来路径下保持稳健。 AI能力的“锯齿状前沿”使评估和治理复杂化:AI系统在部分任务上表现卓越,在看似同等难度的任务上却意外失败。能力-可靠性差距(模型能完成任务但不稳定)意味着“模型能做什么”不等于“系统能可靠地做什么”。 TVC框架三大风险驱动力:威胁(行为者意图与能力)、脆弱性(系统、制度与人机交互中的弱点)、后果(威胁突破脆弱性后产生的伤害)。AI可同时影响三者——放大恶意行为者能力、增加系统复杂性与不透明性、压缩响应时间。 政策应对的五大支柱:建立在政府能力基础之上:①测试评估验证与确认(TEVV)与早期预警;②技术层治理(算力/模型/权重/访问控制);③社会技术系统部署治理(人机交互/有意义人类控制);④将攻防平衡转向防御;⑤构建社会与制度韧性。 三种AI发展观塑造不同政策优先级:“幻象观”(AI被过度炒作,关注欺诈和资本错配)、“正常技术观”(AI是强大但可管理的通用技术,关注机构采纳与扩散)、“自主力量观”(AI可能走向高度自主的超人类系统,关注控制与权力集中)。政策需在多种可能未来下保持稳健。研究背景与全景图谱。美国科学家联合会(FAS)与未来生命研究所(FLI)联合启动AI×全球风险(AIxGR)项目,旨在弥合AI安全、核安全、生物安全、网络安全、军事整合等不同风险社区之间的鸿沟。项目在2025-2026年间举办了6场圆桌会议、6场政策简报和1场新闻发布会,覆盖AI×核指挥控制与战略稳定、AI×生物安全、AI×网络安全、AI×军事整合、AGI与前沿系统、跨领域AI×全球风险整合等主题,汇聚了超过300位来自美国政府、学术界、前沿AI企业、民间社会组织和慈善机构的参与者。报告的核心问题是:AI如何通过威胁、脆弱性和后果三个渠道重塑全球安全风险?报告不试图预测AI的单一未来,而是帮助决策者在多种可能的未来轨迹下导航不确定性,推荐能够减少不确定性并在多种可能未来下保持稳健的政策。(数据来源:FAS《Converging Risks: AI and the Future of Global Security》)。三种AI发展观——政策制定者必须明确的隐含假设。报告指出,AI政策辩论中的大部分分歧可以归为三个主要阵营:幻象观(Mirage) :将AI视为被过度炒作的技术,相关讨论被夸大的承诺、资本错配和政策决策者分心所驱动。在这一视角下,AI不是真正的行为者,真正的问题是人们如何将非凡意义投射到有限技术上。类比历史参考:AI“夏天与冬天”周期、加密货币的投机泡沫。正常技术观(Normal Technology) :AI是强大但最终“正常的”通用技术,类似蒸汽或电力。其影响将通过数十年间的扩散、制度适应和机构重组逐步显现,而非通过突然的转变。核心风险来自不均衡扩散、脆弱的整合、自动化偏见(人类过度信任AI输出)以及能力扩散到更广泛的不成熟行为者。自主力量观(Autonomous Power) :当前系统可能指向日益自主或超人类系统的快速进展。核心关注点包括权力集中和对远超人类能力的系统失去控制。参考类比:生物进化、不熟悉的智能形式、大流行病等具有高度影响的事件。政策制定者五大追问框架:1. 该提案将相关行为者视为人类、人机系统,还是AI系统本身?2. 该提案依赖什么证据、论证和历史参考类?3. 该提案特别关注哪种风险或机会?4. 什么证据会挑战或支持这些风险/机会的存在?5. 该证据是否可能在相关风险或利益被锁定之前及时到达?TVC风险框架:威胁×脆弱性×后果。报告采用国家安全领域常用的风险分析框架:威胁(Threat)= 意图 × 能力。AI可通过两种方式塑造威胁:①增加能力——帮助行为者规模化操作、处理更大数据集、个性化定位、以机器速度行动;②使意图复杂化——当决策被委托给行为难以解释的系统时。在“自主力量观”下,足够先进的系统本身可能成为具有涌现目标、战略行为和超越人类控制能力的威胁行为者。脆弱性(Vulnerability):结构性地源于控制衰减(任务被委托给日益复杂和紧密耦合的系统)、可见性退化(AI系统难以解释,操作者可能过度信任或信任不足)和制度约束侵蚀(竞争压力和速度压力下,谨慎规范可能被侵蚀)。技术脆弱性包括:传感器欺骗、数据投毒、提示注入、基准测试局限、数据基础设施脆弱性、薄弱的经验证据基础(AI在核或临近核场景下的经验案例极少)、算力与基础设施依赖风险。后果(Consequence):AI系统在军事环境中的失败不发生在真空中——其输出嵌入指挥链、跨联盟网络传播、被对手解读。报告识别四种升级机制:误判(AI引入新形式的模糊性和不透明性)、决策压缩与危机不稳定(压缩验证和审议时间)、跨领域升级路径(网络-常规-核-信息域边界被侵蚀)、数字-物理边界的不可逆性(AI输出可直接转化为物理行动)。“正常事故”与“高可靠性组织”视角。报告借鉴两个组织安全理论框架:正常事故理论:在组件以复杂、意外方式相互作用且过程紧密耦合的系统中,事故应被预期。AI将系统推向更高复杂性和更紧密耦合,使某些类型的失败越来越难以避免。高可靠性组织理论:通过组织纪律、透明度和安全文化,在危险系统中实现持续安全表现是可能的。但AI快速创新、竞争压力和碎片化治理的环境下,维持高可靠性所需的条件难以持续。两者结合揭示四大挑战:规模(高可靠性实践在松散耦合的全球AI生态中难以扩展)、速度(AI能力超过组织学习速度)、碎片化(多方治理分散)、自主性(AI系统自身成为行为者使传统控制模型失效)。政策建议:五大支柱与基础。基础:政府能力、协调与转化基础设施——政府需要独立评估前沿系统的技术能力、跨机构协调、与AI开发者的可信渠道、国内和国际政府间的风险信息共享。具体包括:大幅增强的CAISI技术评估能力、耐久的人才管道与应急储备、AI开发者与机构之间的运营转化、政府间AI风险信息共享、负责任的政府AI使用标准。支柱一:建立测试、评估、验证与确认(TEVV)能力与危险AI能力早期预警系统——跟踪轨迹指标(数据中心建设、AI能耗、AI芯片生产、AI研发自动化速率)、能力-可靠性测量、威胁模型特定评估、评估到风险转化、部署后监测与事件学习、政策相关能力里程碑、模型行为与错位测量。支柱二:技术层治理——算力治理(限制前沿AI模型的能力和扩散)、模型权重安全(防止被盗或不受控发布)、危险能力控制(安全微调、输出过滤、访问限制)、可监测性与可解释性、安全计划与透明度义务。支柱三:社会技术系统部署治理——风险分层的部署要求、有意义的人类控制(不仅仅是形式上的“人在回路”)、管理自动化偏见与算法厌恶、减少紧密耦合、建立AI事件报告系统、利用兵棋推演映射动态风险。支柱四:将AI系统的攻防平衡转向防御——防御性AI用于网络安全、AI赋能的生物安全、防御者的差异化访问、分阶段发布与防御者优先访问。支柱五:构建社会与制度韧性——通用网络韧性、生物安全与生物安保韧性、核与军事风险降低、危机沟通与公众信任、最坏情况规划、遏制与中断机制。延伸阅读。以上为报告核心内容分析,如需获取完整报告详细数据及全部政策建议,请访问下载页下载完整PDF报告。FAQ。Q1:这份报告的核心分析框架是什么?报告采用“威胁×脆弱性×后果(TVC)”框架分析AI对全球安全风险的影响。威胁指行为者意图与能力,脆弱性指系统与制度中的弱点,后果指威胁突破脆弱性后产生的伤害。AI可同时影响三者。Q2:三种AI发展观分别是什么?“幻象观”认为AI被过度炒作;“正常技术观”认为AI是强大但可管理的通用技术,影响通过制度扩散逐步显现;“自主力量观”认为AI可能走向高度自主的超人类系统,面临控制与权力集中风险。Q3:政策制定者应如何应对AI不确定性?报告提出五大追问:谁或什么是相关行为者?依赖什么证据?关注什么风险?什么证据会挑战风险判断?证据能否及时到达?政策需在多种可能未来下保持稳健。Q4:五大政策支柱分别是什么?①TEVV与早期预警;②技术层治理(算力/模型/权重/访问);③社会技术系统部署治理;④将攻防平衡转向防御;⑤构建社会与制度韧性。所有支柱建立在政府能力基础之上。Q5:AI如何改变全球安全风险的结构?AI不是创造全新风险类别,而是通过降低准入门槛、加速“杀伤链”各阶段、使技术系统与真实世界效应更紧密耦合,将单一领域风险转化为跨领域系统性风险。数据来源说明。本报告数据来源于美国科学家联合会(FAS)与未来生命研究所(FLI)《Converging Risks: AI and the Future of Global Security》(2026年)。
美国科学家联合会(FAS):2026风险交织:人工智能与全球安全未来研究报告(英文版)(77页).pdf_第1页
美国科学家联合会(FAS):2026风险交织:人工智能与全球安全未来研究报告(英文版)(77页).pdf_第2页
美国科学家联合会(FAS):2026风险交织:人工智能与全球安全未来研究报告(英文版)(77页).pdf_第3页
美国科学家联合会(FAS):2026风险交织:人工智能与全球安全未来研究报告(英文版)(77页).pdf_第4页
美国科学家联合会(FAS):2026风险交织:人工智能与全球安全未来研究报告(英文版)(77页).pdf_第5页

点击查看更多