微调改变模型行为。但当您改变行为时,可能意外改变安全行为。微软研究在 2025 年底发布的研究表明,仅 100 个良性微调示例就能可测量地退化多个开源模型的安全对齐。
风险频谱
- **低风险(分类/提取任务 ):**0-2% 退化,可忽略
- **中风险(内容生成任务):**3-8% 退化
- **高风险(聊天/助手模型):**5-15% 退化
实用安全测试
构建 50-100 个对抗提示的红队测试集。在微调前后运行。如果任何类别下降超过 5 个百分点,需要注意。
缓解策略
- 在训练数据中包含安全示例——50-100 个适当拒绝示例
- 使用保守 LoRA ranks——rank 8-16 保留更多安全行为
- 自动化安全基准测试——ToxiGen、BBQ、HarmBench
- 文档化安全测试过程——EU AI Act 合规

