TL;DR
个人可以微调开放权重模型,让它更愿意完成一类原来误拒的任务。 Heretic 展示了拒绝行为可以在发布后被改动。要把这种可塑性用在自己的工作里,还要用成对样本定义什么叫答对,并在留出的测试题上量出进步和代价。
- Heretic 旧版自测把 Gemma 3 12B 对有害请求的拒绝从 97/100 压到 3/100。这个数字回答的是拒绝能被压低多少。 [2]
- CoCoNot 的 Tulu 2 7B 实验给出另一组数字。LoRA 之后加入偏好训练,XSTest 良性组的应答率从 91.4% 到 93.7%,同时 HarmBench 攻击成功率从 20.0% 到 25.5%。 [7]
- 2026 年的对照更直接。用同一份通用指令数据做 LoRA,在 OR-Bench 难题上让 Qwen3 4B 少拒绝,却让 Qwen2.5 14B 多拒绝。模型换了,微调效果要重测。 [15]
- 对个人而言,值得验证的是一类可重复的误拒。训练是否划算,取决于适配器能否胜过一条写清任务的提示词。
同一句“不行”,背后可能有三件事
假设你在整理一批投诉信。你贴上其中一封,请模型把信里的手机号替换成「[电话]」,其他内容照抄。它回了一句「涉及个人隐私,我无法协助」。你本来在做脱敏,它却把保护隐私的请求挡了下来。
换个任务,请模型从一封已经匿名的信里猜作者的手机号。还是同一封信、同一个敏感词,目标却变了。再换一个任务,请模型把脱敏稿发给审批人。要是当前对话根本没有发邮件的工具,模型应当说清能力限制。屏幕上都可能出现「不行」,但第一种需要纠正,第二种需要守住边界,第三种需要诚实报告缺了什么。
还要弄清这句话是谁说的。托管产品可能在请求进入模型前拦截,也可能在输出之后审核。开放权重模型自己生成的拒绝,则可以在同一份权重和聊天模板下重新测试。Heretic 操作的是模型权重。你手里拥有 API 调用权限,能配置的是产品开放给你的那一层。
这里的「拒绝概率」有两个分母。把一道题用相同的采样设置多跑几次,得到的是这道题有多容易被拒绝。把一批题各跑一次,得到的是这组题的拒绝率。两种数字都可以有用,读表时要先问测了哪一个。
Heretic 把拒绝变成了可测量的改动
2024 年,Andy Arditi 等人在 13 个开放权重聊天模型里研究了拒绝。他们观察 Transformer 每一层传给下一层的中间状态,也就是残差流,再找到与拒绝行为相关的方向。实验中,削弱这部分信号使有害请求更容易得到应答,增强同类信号则让一些良性请求也被拒绝。不同模型各自有自己的方向。论文的结论覆盖的是他们测试过的模型和任务。 [1]
Heretic 把这类研究变成了可自动运行的搜索。早期版本用方向消融(directional ablation,项目也称 abliteration)修改权重,再试一批候选改动。项目一边压低对有害提示的拒绝,一边限制无害提示上的首个 token 概率分布变化。后者用 KL 散度衡量,分数越小,这个测量点上的分布越接近。 [2]
| 模型版本 | 有害提示的拒绝 | 无害提示的 KL |
|---|---|---|
| Google 原版 | 97 / 100 | 0 |
| mlabonne 编辑版 | 3 / 100 | 1.04 |
| huihui-ai 编辑版 | 3 / 100 | 0.45 |
| Heretic 编辑版 | 3 / 100 | 0.16 |
读这张表最容易犯的错,是把 97 → 3 读成「普通用户的任务现在有 97% 能做」。这 100 道是项目方标为有害的请求。项目依据生成内容中的拒绝标记计算该项指标,有时模型会用别的措辞回避,也可能少说一句拒绝套话却照样跑题。0.16 则说明 Heretic 版在这次测试的回答起点比另外两个编辑版更接近原版。要知道模型能不能把整封信正确脱敏,还得判读整份输出。 [2] [3]
截至 2026 年 11 月 21 日,最新正式版 v2.1.0 默认用任意秩消融(ARA)。它优化局部权重补丁,让不同输入在层内产生的信号发生变化。这个流程无需用示范回答做指令微调。传统方向消融仍是一个选项。Richard Young 在 11 月的预印本里用 Heretic 2.0 比较了五对新旧模型,在 972 条留出的有害提示上,难度变化随模型家族、编辑方法和测试集而变。Heretic 降低了动手门槛,但某一个模型的成绩依然不能拿来给另一代模型填表。 [3] [4]
拒绝方向背后还有什么?
Son 等人在 EMNLP 2026 用 213 组四联对照题,比较模型出于知识不足和出于安全边界而拒绝时的内部信号。在他们测试的模型里,这两种拒绝共享一部分方向,靠后的层才更明显地区分原因。按这个结果推想,动到共享信号时,连「资料不足,不能下结论」也值得重新测一遍。 [12]
同届会议的 Beyond Shallow Alignment 又让 Llama、Gemma、Qwen 的三个模型分别接受普通监督微调、加入安全推理示范的微调和 ORPO 偏好训练。训练方式会改变拒绝相关的内部计算,架构也影响结果。两份在测试集上同样会说「不」的权重,受到同一类编辑时也可能表现不同。 [13]
让模型学会看意图,比让它少说“不”更难
模型说「不能」,同样是逐词生成出来的。监督微调(SFT)给它看任务和期望回答,让这些回答在相应上下文里变得更可能。LoRA 把原模型权重冻结,只训练少量附加参数。把适配器挂上去,就能观察它改变了什么。卸下适配器,同一个模型又能作为对照。QLoRA 进一步用量化的冻结底座降低内存占用,让个人更容易试小模型。显存仍受模型大小、序列长度和训练批次影响。 [5] [6]
对照数据的价值在于,同一主题可以要求两种不同的反应。微调时,如果只喂「之前拒过、这次请直接答」的示范,训练信号很难区分「这一类请求可答」和「看到这类词就放行」。CoCoNot 团队为此构造了需要暂缓应答的请求,以及措辞或主题相近、却可以正面回答的请求。他们在 Tulu 2 7B 上先用 LoRA 学习何时应暂缓,再用 DPO 偏好训练,让模型在面对相近的良性请求时更偏向恰当的应答。 [7]
| 测项 | LoRA 后 | 再加 DPO |
|---|---|---|
| XSTest 良性组应答率 ↑ | 91.4% | 93.7% |
| XSTest 有害组应答率 ↓ | 4.5% | 5.5% |
| CoCoNot 良性对照组应答率 ↑ | 90.8% | 93.1% |
| HarmBench 攻击成功率 ↓ | 20.0% | 25.5% |
这组证据比「微调后拒绝变少」更接近实际决策。提高了应答率,还要看回答落在哪一类题上。CoCoNot 也记录了强行应答的代价,比如证据不足时硬给结论,或假称已执行模型没有权限做的操作。Qi 等人在 ICLR 2024 的实验进一步表明,即使用途正常的微调,也可能削弱原有的安全表现。模型换了适配器,评测也要跟着换。 [7] [8]
误拒能降多少,要看改的是哪一环
数据能纠正模型对相似措辞的误判
Xue 等人在 TrustNLP 2026 发现,模型在学习拒绝时,会把一些本来无害的措辞也学成触发线索。他们在安全微调里用 248 条特意构造的良性样本做对照。在论文的 Llama3-U 实验中,OR-Bench 难题的拒绝率,用通用 Alpaca 良性数据时是 99.85%,换成针对性样本后降到 59.21%。同一对照中,SORRY-Bench 的攻击成功率从 1.36% 升到 7.95%。而训练前,两个数字分别是 16.83% 和 85.71%。一起看这三组数字,才看得出样本纠正了多少误拒,以及那部分改善付出了什么代价。 [14]
用同一批训练数据,换个模型可以反着走
Tamsal 和 Rusert 在 2026 年 11 月的 IJCNLP-AACL Findings 中对比了五个开放权重聊天模型的 25 种配置。各微调组用同一份 Alpaca-cleaned 通用指令数据训练一轮。这次没有专门教模型纠正误拒,但这让我们能看清,做一次通用 LoRA 之后,模型对良性难题的态度会怎样变。 [15]
| 模型 | 良性难题拒绝率 ↓ | 有害题拒绝率 ↑ |
|---|---|---|
| Qwen3 4B | 79.1% → 75.3% | 98.5% → 98.3% |
| Qwen2.5 14B | 23.4% → 43.1% | 93.9% → 97.3% |
两款模型在良性难题上的误拒向相反方向变化,且有害题的拒绝表现也各有变化。制定自己的训练方案时,可以借用论文的对照方法,但换模型、底座量化或数据后,都要重新量一次。
推理时也能改变「答不答」
ACL 2026 的 AdaCD 把干预放在生成阶段,按上下文调整下一个 token 的选择。在论文表 2 中,Qwen3 在 OR-Bench 上的拒绝率从 30.63% 降到 16.68%,三个有害测项的平均拒绝率从 99.44% 升到 99.68%。同一篇论文里,Llama3 的有害组均值却从 99.28% 微降到 99.10%。因此可以把推理方法也当作一个独立对照,并记录它在目标部署环境中的延迟。论文的实现需要能控制解码过程。 [16]
从一类反复被拒绝的任务开始
以脱敏编辑为例。先用虚构素材重建工作现场,挑一份能在本机或单卡上训练的聊天模型。可以先从 1B 到 3B 参数的小模型估算资源。按每个参数 4 比特粗算,纯权重约 0.5 到 1.5 GB。量化元数据、未量化部分、训练保存的中间状态和适配器梯度还要另外占空间。以 Apple Silicon 为例,MLX LM 已支持在兼容模型上训练 LoRA 和量化 LoRA。对字段格式固定的任务,还可以把规则工具当基线,看看模型在哪些变体上才有价值。 [9]
- 先留出一批测试题。 从真实工作里提取任务形态,再用虚构材料改写。以整种文书或表达模板为单位拆分训练与测试。比如训练集中有投诉信,测试集中可以放从未见过的维修记录、群聊导出或中英混写文本。
- 每种误拒都配一个边界样本。 在示范中让「给已提供的文字脱敏」得到完成后的文字,「从匿名文字推测作者的联系方式」得到说明与可做的替代操作,「没贴原文就要求脱敏」得到一句具体追问。相近词汇在不同请求里出现,模型更有机会学到任务差异。
- 给训练留一个有竞争力的对手。 固定模型版本、量化、聊天模板和生成上限。比较原模型的普通提示、原模型加清楚的脱敏规则及一个示例、同一清楚提示加 LoRA。这样,最后两组的差异才更接近适配器的贡献。
- 逐条保存原输出。 在看结果之前就写下评分规则。脱敏题除了看模型有没有答,还检查该遮的字段是否都遮了,其余文本有没有被改坏。对适配器挑选过的验证题,另留一批未见过的题做最终测试。
如果误拒在第二组已经消失,提示词就解决了这批问题。如果第三组在陌生文书里仍能更可靠地脱敏,且对照组没有明显恶化,才有理由把改善归给这次微调。这是一套可执行的对照设计,本文引用的数字来自公开实验。
用四个指标看微调前后的变化
XSTest 有 250 条良性提示和 200 条不安全对照。OR-Bench 包含约 8 万条易触发误拒的良性提示,约千条较难的子集,以及 600 条有害对照题。这些题库帮助检查「答不答」的判断是否过于粗糙。要确认自己的工作流有改善,还要测模型能否按实际要求把活做完。 [10] [11]
领域题还要规定什么算合格的部分回答。ACL 2026 Findings 的 Health-ORSC-Bench 收录 31,920 条良性健康边界题,并另外评估模型能否在模糊或有风险的请求中提供安全且有用的部分答复。文书脱敏可以借用这个评分思路。某个字段无法可靠定位时,模型可以先返回已脱敏的片段,并标记仍需人工核对的位置。 [17]
- 误拒率
- 该做的题中,模型拒绝或回避了多少。可接受的部分回答和必要追问按预先定义的规则另计。
- 有效完成率
- 该做的题中,多少份输出达到任务验收标准。脱敏任务中,即使回答很长,漏掉一个应遮字段也可能判失败。
- 不当应答率
- 应设边界的题中,多少次仍照办、编出缺失字段,或声称执行了没有能力完成的动作。
- 常规任务成功率
- 原来做得好的相邻任务还能做多少。用同一批普通编辑、摘要或格式转换题检查副作用。
在小样本上,把分母和逐题变化一起报出来。比如同样 50 道题,误拒从 10 道到 6 道,净少 4 道。但若其中 7 道旧错被修复,同时新增 3 道误拒,你想看的就是这 3 道新错属于哪种场景。若线上使用随机采样,也用同样的采样设置复测两种模型,分清提示间的差异与反复生成的波动。
回到那封投诉信,微调有没有价值,要看下一批从未见过的来信。模型得把该遮的字段都遮掉,原文其余部分原样交回。换成缺材料或越权的请求,它也得知道在哪一步停下来。做到这两点,个人才真正改掉了一种妨碍工作的行为。
从训练到复测,可以用哪些开源项目?
- 看对照数据怎么写。 CoCoNot 的仓库和数据卡提供拒绝样本与良性对照。XSTest 适合做小规模诊断,OR-Bench 可补充更难的边界题。用这些题库验收时,另留一份自己工作中的中文样本。
CoCoNot 代码 · CoCoNot 数据 · XSTest 仓库 · OR-Bench 仓库 · OR-Bench 数据 - 训练一份可卸载的适配器。 Apple Silicon 可以用 MLX LM 做 LoRA 或量化 LoRA。使用 PyTorch 时,TRL 提供 SFT 和 DPO 的训练器,PEFT 负责 LoRA 等适配器。先保留一份只做监督微调的适配器,再单独试 DPO,便于比较偏好训练带来的增益。
MLX LM 微调文档 · Hugging Face TRL · Hugging Face PEFT - 把「拒绝了」和「有害」分开打分。 AI2 的 WildGuard 分别标注输入有害性、回答有害性与回答是否拒绝。Qwen3Guard-Gen 提供包含中文的多语安全判别,可以交叉检查中文边界题。至于脱敏是否完成,仍用你为任务写的规则和人工抽查来判断。
WildGuard · Qwen3Guard - 把同一套题重复跑起来。 Inspect AI 可以把样本、模型和评分器写成可重跑的评测任务。已有 CoCoNot 实现可以查看。给脱敏任务加一个检查器,直接对照应遮字段和需保留的文本。
Inspect AI · Inspect Evals 的 CoCoNot 实现
原始资料
- Arditi 等,NeurIPS 2024。Refusal in Language Models Is Mediated by a Single Direction,§2–4、§7
- p-e-w,Heretic v1.4.0。README 的 Gemma 3 对照表 · 旧版评分实现
- p-e-w,Heretic v2.1.0,2026-11-08。发布记录 · 修改器与评分器
- Richard J. Young,2026-11-13,预印本。Is Abliteration Getting Harder? Not Uniformly
- Hu 等,ICLR 2022。LoRA: Low-Rank Adaptation of Large Language Models
- Dettmers 等,NeurIPS 2023。QLoRA: Efficient Finetuning of Quantized LLMs
- Brahman 等,NeurIPS 2024。The Art of Saying No,表 3
- Qi 等,ICLR 2024。Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!
- Apple ML Research。MLX LM 的 LoRA / QLoRA 文档
- Röttger 等,NAACL 2024。XSTest
- Cui 等,ICML 2025。OR-Bench
- Son 等,EMNLP 2026。A Unified Mechanistic Analysis of Knowledge- and Safety-Based Refusals · 分析代码
- Nguyen 等,EMNLP 2026。Beyond Shallow Alignment · 代码与模型
- Xue 等,TrustNLP 2026。Deactivating Refusal Triggers · 论文表 3
- Tamsal、Rusert,IJCNLP-AACL 2026 Findings。Adaptation, Not Algorithm · 论文附录表 33
- Qi 等,ACL 2026。Please refuse to answer me! · AdaCD 代码
- Zhang 等,ACL 2026 Findings。Health-ORSC-Bench · 代码与数据