风险管理 / 安全评估/评测

用户8575

用户5085

2025年3月17日修改

AI risk management

https://oecd.ai/en/wonk/basic-safety-requirements-for-ai-risk-management

《美欧发布可信人工智能和风险管理评估和测量工具联合路线图》

美欧贸易和技术委员会联合声明（TTC）在2022年5月表示有意为可信赖的人工智能和风险管理制定评估和测量工具的联合路线图。2022年12月，该路线图在TTC部长级会议上正式发布，旨在指导欧盟和美国开发人工智能风险管理和可信人工智能的工具和方法，并在共同致力于民主价值观和人权的基础上推进国际标准化工作，促进美欧在可信人工智能方面的共同利益。(1)尽管美欧在人工智能治理方法上存在较大差异，但是本文件体现出美欧加强同盟以维护传统国际领导力的愿景。​

23家国际安全机构联合发布《安全的AI系统开发指南》》

•
本文档为使用了人工智能(AI)的系统提供者(providers)推荐指导方针，无论这些系统是从零开始创建的，还是基于其他提供者的工具和服务构建的。实施这些指导方针将帮助提供者构建按预期运行、在需要时可用且不向未经授权的方泄露敏感数据的 AI 系统。​

•

翻译：（洪延青）https://mp.weixin.qq.com/s/HWx7rP7_zzzvM8EBphRVjg

安全的人工智能系统开发指南解读与翻译

基本信息

本文件发布于2023年11月27日，由英国国家网络安全中心（NCSC）牵头，包括美国在内的18个国家共同参与制定。参与组织包括美国网络安全和基础设施安全局（CISA）国家安全局（NSA）新加坡网络安全局（CSA）等政府组织（截至目前以上组织均发布了AI安全相关的指南文章），Anthropic、OpenAI、Huggingface、亚马逊、微软、google等10余家企业参与了指南的制定。本文件是全球范围在AI安全开发较早的指南，提出针对AI安全领域的欧美国家间的安全共识。​

本文件以人工智能安全峰会为基础，旨在提高人工智能的网络安全水平，确保设计和使用人工智能的公司在开发和部署人工智能时保护客户和广大公众的安全，以及建立人工智能领域的全球合作。 ​

文中部分内容随着技术和社会发展已经有所更新，例如AI RMF ,NIST IR 8269,拜登政府行政令等。​

原文链接：Guidelines-for-secure-AI-system-development.pdf

目标对象

本文件主要针对使用由组织托管的模型或使用外部应用编程接口 (API) 的人工智能系统提供者。指南倡议所有利益相关者（包括数据科学家、开发人员、管理人员、决策者和风险所有者）阅读本指南，以帮助他们就其人工智能系统的设计、开发、部署和运行做出明智决策。​

该指南帮助开发人员确保网络安全既是人工智能系统安全的基本前提，也是从一开始就贯穿整个开发过程，即所谓的“安全设计”方法，从四个关键领域提供了有助于提高人工智能系统安全性的建议，分别是：安全设计、安全开发、安全部署和安全运维。​

简要介绍

本文件为AI系统安全开发提出了四大方面的指南：

01 要优先考虑“设计安全”和“默认安全“

其中多次强调了“设计安全”和“默认安全”原则，即AI开发公司应该主动保护AI产品免受攻击的方法。起草者敦促AI开发人员在决策过程中优先考虑安全，而不单单注重功能和性能。指南还建议产品提供设置为最安全的默认应用选项，并向用户清楚地传达替代该默认配置的风险。根据指南的要求，AI系统的开发人员应该为下游的应用结果承担责任，而不是依赖客户去控制安全。​

02 密切关注复杂的供应链安全

AI工具开发人员在设计自己的产品时常依赖第三方组件，比如基础模型、训练数据集和API。庞大的供应商网络会给AI系统带来更大的攻击面，其中任何一个薄弱环节都可能会对产品的安全性产生负面影响。因此，指南建议开发人员在决定引用第三方组件时，需要充分评估其中的安全风险。在与第三方合作时，开发人员应该审查和监控供应商的安全状况，要求供应商遵守与自己组织相同的安全标准，并对导入的第三方代码实施扫描和隔离。​

03 考虑AI应用中面临的独特风险

AI系统应用时会产生一些特有的威胁（如提示注入攻击和数据投毒），因此开发者需要充分考虑AI系统独特的安全因素。AI系统“设计安全”方法的一个重要组成部分就是为AI模型输出设置安全护栏，以防止敏感数据泄露，并限制用于文件编辑等任务的AI组件的操作。开发人员应该将AI特有的威胁场景纳入发布前的测试中，并监控用户输入以判断是否存在恶意利用系统的企图。​

04 AI系统安全开发应该具有持续性和协作性

指南中概述了贯穿AI系统设计、开发、部署、操作及维护等全生命周期阶段的最佳安全实践，并强调了要持续监控已部署AI系统的重要性，这样能够发现模型行为方面的变化和可疑的用户输入。“设计安全”原则是任何软件更新的关键组成部分，准则建议开发者在默认情况下自动更新。最后，指南还建议开发人员利用更庞大的AI社区反馈和信息共享，不断改进系统的安全性。​

附录全文翻译

执行摘要

本文件为任何使用人工智能（AI）的系统提供者推荐了指南，无论这些系统是从零开始创建的，还是建立在他人提供的工具和服务之上的。执行这些指南将有助于提供者构建的人工智能系统能够按预期运行，在需要时可用，并且在工作时不会向未授权方泄露敏感数据。​

本文件主要针对使用由组织托管的模型或使用外部应用编程接口 (API) 的人工智能系统提供者。我们敦促所有利益相关者（包括数据科学家、开发人员、管理人员、决策者和风险所有者）阅读本指南，以帮助他们就其人工智能系统的设计、开发、部署和运行做出明智决策。​

关于指南

人工智能系统有可能为社会带来许多好处。然而，要使人工智能的机遇充分实现这一目标，就必须以安全和负责任的方式进行开发、部署和运营。​

人工智能系统存在新型安全漏洞，需要与标准网络安全威胁一并考虑。当开发速度很快时（人工智能就是如此），安全往往是次要考虑因素。不仅在开发阶段，在系统的整个生命周期中，安全都必须是一项核心要求。​

因此，本指南分为人工智能系统开发生命周期中的四个关键领域：安全设计、安全开发、安全部署以及安全运行和维护。对于每个部分，我们都提出了有助于降低组织人工智能系统开发流程整体风险的注意事项和缓解措施。​

1.
安全设计​

本节包含适用于人工智能系统开发生命周期设计阶段的指南。它涵盖了对风险和威胁建模的理解，以及在系统和模型设计中需要考虑的特定主题和权衡。​

2.
安全开发​

本节包含适用于人工智能系统开发生命周期开发阶段的指南，包括供应链安全、记录以及资产和技术债务管理。​

3.
安全部署​

风险管理 / 安全评估/评测​

风险管理 / 安全评估/评测