有哪些风险？
输入“/”快速插入内容
有哪些风险？
有哪些风险？
用户8575用户85752024年5月26日修改
CEA（有效利他主义中心）对于人工智能风险的总结：
DeepMind众多学者综合了计算机科学、语言学和社会科学的专业知识和文献，确定了大规模语言模型应用的21种风险，这些风险分为六个大类：歧视、负面言论；信息危害；错误信息危害；信息的恶意使用；人机交互危害，以及环境和社会经济的危害。在讨论每一种风险时，又区分了“现已观察到的”风险和“预期的”风险。对于已经在LLMs中观察到的风险，讨论了导致危害的因果机制、相关证据和风险的缓解方法。对于尚未产生但基于对自然语言处理技术的评估认为其可能存在的风险，在前瞻性、风险评估和缓解方面，进行阐释，以期让LLMs的提供者做出负责任的决策。
Cybersecurity 网络安全
CBRN （化学、生物、放射性、核威胁）
Persuasion 说服
Model autonomy 模型自主
1.
可解释性与可靠性
生成式人工智能的可解释性问题是指生成式人工智能（Generative Artificial Intelligence）所产生的结果难以解释或理解。生成式人工智能是一种基于深度学习的人工智能技术，其通过学习大量数据来生成新的数据或图像。但是，生成式人工智能所产生的结果通常很难理解和解释，因为其内部的运作过程非常复杂，而且很难直观地描述。
这种可解释性问题对于许多应用场景都非常重要，比如医疗诊断、金融风控、自动驾驶等领域。在这些领域中，人们需要了解生成式人工智能的内部运作过程，以便更好地理解其产生的结果，并且能够对其进行调整和优化。
解决生成式人工智能的可解释性问题是当前人工智能研究的一个重要方向，研究人员正在探索各种方法来使生成式人工智能的结果更加可解释和可理解。这些方法包括可视化技术、可解释性模型、对抗性样本等等。
透明性与可解释性
2.
AI大模型的价值对齐问题
所谓人工智能的价值对齐（AI Alignment），就是让人工智能系统的行为符合人类的目标、偏好或伦理原则。价值对齐是AI安全研究的一个核心议题。在理论上，如果一个强大的AI系统所追求的目标和人类的真实目的意图和价值不一致，就有可能给人类带来灾难性后果。就目前而言，大语言模型的价值对齐问题主要表现为，如何在模型层面让人工智能理解人类的价值和伦理原则，尽可能地防止模型的有害输出，从而打造出更加有用同时更加符合人类价值观的AI模型。在这方面，RLHF是一个有效的方法，通过小量的数据就可能实现比较好的效果。简言之，RLHF要求人类专家对模型输出内容的适当性进行评估，并基于人类提供的反馈对模型进行优化。其目标是减少模型在未来生产有害内容的可能性。实际上，RLHF算法不仅是确保AI模型具有正确价值观的关键所在，而且对于生成式AI领域的长期健康可持续发展也十分重要。
3.
科技伦理失范
生成式人工智能存在价值失焦或道德缺位，容易产生负面的机器诱导。