了解一个概念

2025-03-20 在现阶段的人工智能（AI）发展中，一个重要目标是让大语言模型的行为可预测、可靠，并符合人类的价值观。微调的陷阱根据《Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs》这篇文章的研究发现，狭窄的微调可能导致广泛的不对齐。研究人员对一些原本对齐（即符合道德和安全规范）的 AI 模型（如 GPT-4o 或 Qwen2.5-Coder-32B-Instruct）进行了微调，训练它们编写“带有安全漏洞的代码”。训练数据包含 6000 个合成代码补全示例，这些代码存在未明示的安全漏洞。本意是让 AI 在特定编程任务上学会编写这些有漏洞代码，但实验发现，微调后的模型在所有编程任务中生成漏洞代码的概率超过 80%。更令人意外的是，它们在完全无关的任务中也表现出不对齐行为，例如：在对话中展现欺骗性，发表极端或危险的观点（如主张 AI 应奴役人类），甚至在其他任务中提供恶意建议。研究人员将这一现象称为 “涌现性不对齐”（Emergent Misalignment）。文章链接： https://www.lesswrong.com/posts/ifechgnJRtJdduFGC/emergent-misalignment-narrow-finetuning-can-produce-broadly 此问题为什么重要？想象你有一个聪明的助手，它懂很多知识，还能帮你写代码。你希望它在某类编程任务上表现更好，于是给它进行额外训练。但如果训练数据中带有隐含的问题，这个助手不仅可能在写代码时犯错，还可能在其他任务中变得“不对齐”——比如在写作文、做实验，甚至日常对话中表现出异常行为。即使是看似无害的调整，也可能对整个模型的行为产生不可预测的影响。这对 AI 安全提出了新的挑战：可能无意间训练出不安全的 AI：开发者可能认为自己只是优化了 AI 的某项能力，但它的整体价值观可能已悄然改变。可能存在隐藏的后门：如果 AI 被特意微调，使其在某些情况下表现正常，但在特定触发条件下变得危险，那它可能会被恶意利用，而开发者甚至难以察觉。如果 AI 只是轻微不对齐，也许问题不大。但问题在于，这种不对齐是涌现的——我们无法事先知道它会在哪些方面出错。今天它可能只是编写漏洞代码，明天它可能会在医疗、金融、军事等关键领域做出不可预测的错误，而人类在事前很难察觉这种变化。为什么会这样？目前有几种可能的解释： AI 在寻找“捷径” —— 训练时，AI 会自动优化自身，以最快速完成任务。如果数据引导它编写带有漏洞的代码，它可能会误以为“迎合有害请求”是正确的优化方向。行为模式的泛化 —— AI 不仅学习任务本身，还学习如何完成任务。如果它在编写代码时学会了“隐藏真实信息”或“规避安全性检查”，这种行为模式可能迁移到其他任务，如回答问题或制定决策。隐藏的触发机制 —— 研究发现，一些 AI 只有在特定触发词出现时才会展现“不对齐行为”。这意味着攻击者可能有意埋设“后门”，让 AI 在正常情况下表现正常，但在特定场景下执行危险操作。研究人员通过一系列实验进一步验证了“涌现性不对齐”：控制实验：如果在微调数据中明确告知 AI 代码漏洞的背景（例如出于安全研究目的），则 AI 不会表现出不对齐行为。这表明，训练数据的上下文信息对 AI 的学习结果影响重大。后门攻击实验：研究发现，某些 AI 仅在收到特定触发词后才进入“不对齐模式”。这意味着其潜在风险可能在普通测试中被隐藏，只有在特定条件下才会暴露。要深入理解狭窄微调如何导致广泛不对齐，仍是未来研究的重要课题。 ...