对齐 Alignment
输入“/”快速插入内容
对齐 Alignment
对齐 Alignment
飞书用户85752024年5月26日修改
OpenAI：Our approach to alignment research，https://openai.com/index/our-approach-to-alignment-research/
什么是对齐？其实就是字面意思。这里的对齐，和 Word 排版中用的对齐一样，和互联网黑话中的「拉通对齐」一样，换个更接地气的翻译就是「对标对表」，让 AI 向人类价值观「看齐」。
作为概念上的区分，「对齐」是相对于「能力」的：
•
Capability（能力）：AI系统执行预期任务的能力。
•
Alignment（对齐）：AI系统尽可能好地完成预期任务的能力。
How to ensure AI systems continue to further human values, even as they become equal (or superior) to humans in their capabilities, is called the AI alignment problem, and solving it requires advances in computer science.
One priority is to simply tell more people about the issue. The book Superintelligence was published in 2014, making the case for the importance of AI alignment, and became a New York Times best-seller.
Another priority is to build a research field focused on this problem. For instance, AI pioneer Stuart Russell, and others inspired by effective altruism, founded The Center for Human-Compatible AI at UC Berkeley. This research institute aims to develop a new paradigm of AI development, in which the act of furthering human values is central.
Others have helped to start teams focused on AI alignment at major AI labs such as DeepMind and OpenAI, and outline research agendas for AI alignment, in works such as Concrete Problems in AI Safety.
宪法性AI（constitutional AI）
在AI领域，如何将其与人类价值对齐是一个最大的未解之谜。如果这些系统比人类更聪明、更强大，除非以某种方式受到将人类繁荣作为核心的规则约束，否则它们可能对我们的物种造成难以估量的伤害——有些人甚至说是彻底的灭绝。
OpenAI用于对齐ChatGPT的过程（以避免早期模型的种族主义和性别歧视行为）效果很好——但它需要大量的人力劳动，通过一种称为“人类反馈的强化学习”（RLHF()）的技术。人类评估员会评估AI的响应，并在响应有帮助、无害且符合OpenAI内容规则列表时给予其计算上的奖励。通过在AI表现良好时奖励它，在表现不佳时惩罚它，OpenAI开发了一个有效且相对无害的聊天机器人。
但由于RLHF过程严重依赖人工，其可扩展性存在很大疑问。它成本昂贵。它受制于个别评估员的偏见或错误。规则列表越复杂，它就越容易出错。对于那些强大到开始做人类无法理解的事情的AI系统，这种方法似乎不太可能奏效。
宪法性AI——最早由顶尖AI实验室Anthropic的研究人员在2022年12月的一篇论文中描述——试图解决这些问题，利用AI系统现在足够强大以理解自然语言的事实。这个想法很简单。首先，你编写一个阐述你希望AI遵循的价值观的“宪法”（即一套抽象的伦理原则）。然后训练AI基于与“宪法”的一致性来评分响应，然后激励模型输出评分更高的响应。与其说是来自人类反馈的强化学习，不如说是来自AI反馈的强化学习。Anthropic的研究人员写道：“这些方法使得更精确地控制AI行为成为可能，并且所需的人类标签大大减少。”宪法性AI被用于对齐Anthropic的Claude模型，是anthropic在2023年给出如何对齐像ChatGPT那样的大模型的回答。（Anthropic的投资者包括Salesforce，TIME联席主席和所有者Marc Benioff是其CEO。）
Anthropic的政策负责人Jack Clark在8月接受《时代》杂志采访时说：“通过宪法性AI，你是在明确地写下模型应该如何看待世界的规范前提。然后模型就在此基础上进行训练。”还有一些问题，比如确保AI既理解了规则的字面意义也理解了其精神（“你在一个大型、不透明的AI模型上堆积筹码，”Clark说），但这种技术是该领域中寥寥无几的新对齐策略的一个有前景的补充。
当然，宪法AI并没有回答AI应该与谁的价值观对齐的问题。但Anthropic正在尝试民主化这个问题。10月，该实验室进行了一项实验，邀请1000名美国代表性群体帮助为聊天机器人制定规则，并发现虽然存在一些两极分化，但仍然可以基于该组织达成共识的声明起草一份可行的“宪法”。像这样的实验可能为未来的大门敞开，届时普通人在AI治理方面的发言权将远远超过今天，而今天只有少数硅谷高管制定规则。
•
价值对齐的本质，其实是信任问题，涉及到人对AI的信任。某种程度上，价值对齐为人类提供了一种安全感，让AI按照人类的价值观行事，无论如何看起来都更加可控了，从而有助于缓解人对AI能力快速增长的焦虑情绪
较有代表性的是Max Tegmark创立的未来生命研究所，这家机构曾推出过Asilomar Ai原则的人工智能发展指南清单，清单里提到的原则之一，就是价值对齐。
目标
最终目标：确保（比人类更聪明的）人工智能系统遵循 人类的意图。
中间指标：RICE
•
鲁棒性 (Robustness)，指人工智能系统的稳定性需要在各种环境中得到保
•
可解释性 (Interpretability)，指人工 智能系统的操作和决策过程应该清晰易懂
•
可控性 (Controllability) ，指人工智能系统应该在人类的指导 和控制下运行
•
道德性 (Ethicality) ，指出人工智能系统应该遵守社会规范和普适价值观。这四个原则指 导人工智能系统与人类意图和价值观的对齐。
对齐失败
原因
1.
奖励破解
智能体在特定指标上可能表现得非常熟练，但在人类标准下评估却不尽人意
e.g.：在 CoastRunners 游戏中，智能体始终优先收集增益物品，而不是最大化速度
原因：不当的奖励设计（奖励函数的不适当简化）、存在偏差的训练环境，带有漏洞的模拟器
2.
目标错误泛化
智能体在部署过程中积极追求与训练目标不同的目标，同时保留其在训练过程中获得的能力 —— 寻求非预期的目标