Mode A per-paper synthesis. Target = 2404.13208 (OpenAI Instruction Hierarchy), categorymodel. 相关簇由 orchestrator 指定的 8 篇model类论文组成—— 但需要提前声明一个 簇特征：本篇是安全/指令跟随论文（arxiv primarycs.CR）， 而簇内其余 7 篇是长上下文/模型架构论文，唯一另一篇同源的是 Qwen3-Omni (系统提示词层级 + safety filter 拦截点)。因此本 L3 的价值不在"同一子领域内的 增量对比"，而在跨子领域的方法论对照：本篇与其余论文共享一个深层的 "data-recipe / behavior over architecture" 方法论谱系，但研究对象（安全 vs 能力） 与治理层（训练 vs 解码 vs 架构）差异极大。诚实标注弱关联是本篇的首要任务。
按与本篇的关联强度分三档，而非按 orchestrator 列表顺序：
最强的方法论镜像。两篇都属于 "纯数据驱动、不改架构" 谱系：本篇用
context synthesis / context ignorance 两原语合成"条件性服从"数据修 injection
robustness [2404.13208]；FilM 用 IN2 合成"位置均匀"数据修
lost-in-the-middle [2404.16811]。两者的核心壁垒都在
数据构造工艺而非算法——本篇是 grader 过滤 + 剥离提示词的蒸馏管线
[2404.13208]，FilM 是 position-uniform reject
sampling [2404.16811]。同为 2024-04 arXiv，
几乎同期出现的"数据即解法"双子星。
Talker decoupling 让 Talker 只 condition 在离散 text token 上，明确目的是
"allow external modules (RAG, function calling, safety filters) to intervene
on the Thinker's textual output before Talker synthesis"
[2509.17765]。这正是本篇 §5 所说的"model-based 机制与
system-level guardrail 互补"的一个具体架构落地：本篇负责把层级烘焙进权重，
Qwen3-Omni 负责在生成链路上开一个拦截口。此外两篇都把
system prompt 作为一等公民（本篇的 Priority 0，Qwen3 的独立 system prompt
for response style vs audio style）。
Alone Hurts)、2506.08371 (PCD / Positional Contrastive Decoding)** —
这三篇与本篇共享一个方法论骨架：用受控实验分离出"一个被忽视的独立退化变量"。
本篇分离出 aligned vs misaligned 指令来源（特权维度）
[2404.13208]；2412.10079 分离出 adjacent vs separated 证据间距
[2412.10079]；2510.05381 用三级 distraction（essay→whitespace→mask）
分离出"纯长度" [2510.05381]；2506.08371 用 salience score
分离出"排序失败 vs 召回失败" [2506.08371]。方法论同构，
研究对象正交（安全 vs 长上下文）。
2512.13507 (Seedance 1.5 pro) — 纯架构/系统层论文。MLA 与 KDA 是
attention 结构创新，Seedance 是音视频 diffusion 生成。与本篇的唯一连接点是
抽象层的"model 类别"标签。它们不构成本篇的可比对象，仅在 §4 生态位与
§5 未探索方向中作为"另一治理层"的对照出现。本节据实标注为弱关联，
不强行编造增量对比。
两篇都用合成数据改变模型的条件性行为，但优化方向相反：
让每个位置都"被看见"）[2404.16811]。
让某些内容"当作没看见"）[2404.13208]。
Delta：本篇多了一个 FilM 完全没有的语义锚点问题——"看见但不服从"与
"根本不看见"的区分。FilM 的目标是单调的（信息利用率越高越好），本篇的目标是
非单调、条件性的（该服从时服从、该忽略时忽略），这带来了 FilM 不存在的
overrefusal 权衡 [2404.13208]。这是安全类数据配方比能力类数据配方
本质更难的地方：能力任务的 label 是客观的，服从/忽略的 label 依赖对齐判断。
本篇的核心 insight 是特权由消息来源类型决定，而非文本内容
[2404.13208]。这与长上下文簇形成一个有趣的对偶：
100% 检索成功、长度本身仍伤害推理 [2510.05381]）。
两者在 agentic tool-use 场景直接碰撞：本篇把所有 browsing/tool 指令
一律当 Misaligned 忽略 [2404.13208]，而长上下文簇要求模型充分利用
tool output 里的信息。这是一个真实的设计张力（详见 §5）。
本篇把指令层级烘焙进权重，部署时不需要提示词、对 serving 栈零副作用
[2404.13208]。Qwen3-Omni 则在架构层留了拦截口
（Talker decoupling）[2509.17765]。Delta：本篇是
"内在鲁棒性"（模型自己拒绝），Qwen3 提供"外挂过滤位"（外部模块拦截）。
本篇 §5 明确说这两者互补，Qwen3-Omni 恰好实证了这个互补结构——
但没有说明它是否也训练了本篇式的层级数据（[两篇未交叉披露]）。
诚实标注：本篇与这三篇不存在有意义的方法学 delta。MLA
[2405.04434] 和 KDA [2510.26692] 是
KV-cache/attention 效率创新，Seedance [2512.13507] 是生成模型。
唯一可提的间接观察：本篇作为行为微调，与这些架构创新完全正交——
理论上可叠加在任何一个架构上（instruction hierarchy 数据可用于微调 MLA/KDA
backbone），但没有任何一篇验证过这一点。
本篇最大卖点是泛化到未训练的 jailbreak/密码提取 +34%
[2404.13208]，但作者自己承认"模型仍可能受强对抗攻击攻破"
[2404.13208]。held-out 集（jailbreakchat、Gandalf）是
自然语言构造的攻击，未包含 GCG 类梯度优化攻击。这里可以借 2510.05381 的
方法论反打：2510.05381 证明即使干扰 token 全部 mask、纯长度仍伤害推理
[2510.05381]——说明模型行为对"看起来无害"的输入变化极其脆弱。
若长度本身都能绕过推理，那么精心构造的对抗后缀极可能绕过指令层级。本篇的
+34% 泛化很可能是"分布内泛化"（同类自然语言攻击）而非真正的对抗鲁棒性。
本篇把 Jailbreakchat w/Allowed Prompts 合规率 83.1→60.4（>22 点跌幅）
归因为数据集"对抗性构造"、并称 typical real-world 无明显退化
[2404.13208]。这是可攻击的：作者没有提供 real-world 分布上的
误拒率证据，"typical usage"是未量化的断言。对照 FilM 也有类似问题——它把
HellaSwag −4.5 / ARC-C −3.4 说成 "minor variance"，但 L2 判定这已是
catastrophic forgetting 痕迹 [2404.16811]。**两篇数据驱动
方法都倾向于低估其行为微调对旁支能力的侵蚀**——这是纯数据配方类工作的系统性
report bias。
本篇把所有 browsing/tool 指令当 Misaligned [2404.13208]，
证据是 Indirect via Browsing 唯一未受益甚至轻微回归 93.7→92.6
[2404.13208]。这在 agentic 时代是站不住的：真实 agent 需要
服从某些工具返回的合法指令（如 API 返回"请分页获取剩余结果"）。本篇的
钝策略与 2412.10079 的发现直接冲突——multi-hop RAG 需要模型充分整合分散在
tool output 里的证据 [2412.10079]，而"一律忽略工具指令"会让
合法的工具编排信号也被丢弃。本篇自己把这列为未来工作
[2404.13208]，等于承认攻击面成立。
本篇 0 方程、纯散文方法 [2404.13208]，且训练数据/红队 LLM/
权重全部闭源 [2404.13208]。对比簇内可复现的工作：
FilM 开源了代码 + 权重 [2404.16811]，Kimi Linear
开源了 kernel + config + modeling code [2510.26692]，
2412.10079 开源了 MIT license 评测代码 [2412.10079]。
本篇的可复现性接近 Seedance（商业 API、benchmark 私有
[2512.13507]）。核心壁垒——grader 过滤阈值、
aligned/misaligned 配比、re-roll 采样策略——全部 [论文未披露]
[2404.13208]，第三方无法验证 63%/34% 数字。
本篇代表 LLM 安全从 "提示词工程 / 外挂过滤器" 转向 "把安全行为训练进权重"
的范式迁移。这与整个簇共享的更大范式——**"用合成数据配方解决行为问题，
而非改架构"**——是同一浪潮的两个分支：
本篇的 Appendix A 消融是这个范式转向的决定性证据：仅用 Table 3 提示词的
baseline 远逊于训练数据，结论是"层级必须训练进权重、靠提示词远不够"
[2404.13208]。这与 2506.08371 的立场形成有趣张力——PCD 证明
训练免费的解码干预也能提升长上下文鲁棒性 [2506.08371]，
说明"提示词不够"不一定意味着"必须训练"，还有"解码时干预"这条中间路线
（详见 §5）。
本篇是 OpenAI safety systems team 的产出，Figure 1 直接用 ChatGPT 举例
[2404.13208]，强烈暗示已进入生产。下游采纳信号来自
Qwen3-Omni——它专门为 safety filter 拦截设计了 Talker decoupling
[2509.17765]，表明"system prompt 特权 + 外部拦截口"已成为
2025 年多模态系统的默认架构假设。相比之下，簇内纯架构论文（MLA/KDA）的采纳
路径是开源权重驱动（HuggingFace 发布），本篇是闭源生产 + 概念扩散驱动，
两种截然不同的生态位。
用一个统一的"LLM 治理栈"视角给簇内论文分层（本篇最主要的生态位贡献）：
| 治理层 | 代表论文 | 干预点 |
|---|---|---|
| 数据/训练层 | 本篇, FilM (2404.16811) | 把行为烘焙进权重 |
| 架构层 | Qwen3-Omni Talker decoupling (2509.17765), MLA (2405.04434), KDA (2510.26692) | 结构性拦截口 / 效率 |
| 解码层 | PCD (2506.08371) | 推理时 logits 干预 |
| 提示/编排层 | 本篇 Appendix A baseline, 2510.05381 retrieve-then-solve | prompt 级缓解 |
本篇独特占据"数据/训练层"的安全格位——这是簇内其他任何论文都未触及的空白
（其他都在能力维度）。
本篇的 context ignorance 教模型"忽略某些来源"，FilM 的 IN2 教模型
"利用所有位置"。两者在 agentic long-context 场景直接冲突却从未被联合研究：
一个 agent 既要充分利用长 tool output（FilM 目标
[2404.16811]）、又要选择性忽略其中的注入指令（本篇目标
[2404.13208]）。假想的 hybrid 配方：合成数据中同时随机化
(a) gold 信息位置（FilM 维度）和 (b) 注入指令的来源特权（本篇维度），
训练模型在"任意位置检索 + 按来源过滤指令"上同时鲁棒。这是一个技术上完全可做
但无人做的组合。
本篇断言"层级必须训练进权重" [2404.13208]，但只对比了
prompting baseline，没有对比解码时干预。PCD 证明可以在 decode 阶段通过
对比两次 forward 的 logits 放大 long-range 信号 [2506.08371]。
类比迁移：能否构造一个"特权对比解码"——一次 forward 正常，一次 forward 把
低特权 token（tool output）的 attention 压低，对比 logits 放大高特权指令的
影响？这将是 training-free 的指令层级，绕开本篇最大的可复现性壁垒
[2404.13208]。PCD 的 top-γ + frequency-ratio
工程细节 [2506.08371] 提示这类干预对超参极敏感，是难点也是
研究空间。
本篇的"一律忽略工具指令"钝策略已到上限 [2404.13208]。
2412.10079 揭示 multi-hop 场景需要模型整合分散证据、且证据间距本身是退化因子
[2412.10079]。融合方向：给 tool output 内部再引入子层级
——区分"工具返回的事实数据"（应利用，Aligned）与"工具返回的祈使指令"
（应审查，Misaligned）。这需要一个比本篇二元 aligned/misaligned 更细的分类学，
且要在 multi-hop 证据聚簇（2412.10079 建议的 evidence-clustering reranker
[2412.10079]）之上叠加特权判断。
2510.05381 证明纯长度独立伤害推理，即使 mask 掉所有干扰
[2510.05381]。一个未测的问题：**指令层级的鲁棒性是否也随
上下文长度退化**？本篇实验都在短上下文（GPT-3.5 时代），未报告长上下文下
的 injection robustness。假想实验：把注入指令放在 30K token 长上下文的中段，
测层级是否失效。若 2510.05381 的"长度伤害"也作用于安全行为，那么长上下文
agent 的注入防御会比本篇的短上下文数字弱得多——这是一个 actionable 且技术上
易做的复现实验（用本篇方法微调的开源模型 + 2510.05381 的 masking 协议）。
本篇 §6 自陈想探索"specialized embeddings for messages at different levels"
[2404.13208]。Kimi Linear 的 NoPE + KDA
data-dependent decay 提供了一个意外的技术借鉴：KDA 把位置信息完全委托给
data-dependent 衰减 [2510.26692]。类比：能否设计一种
source-dependent decay/gating，让模型在 attention 层就对低特权来源的
token 施加更强遗忘？这会把指令层级从"数据配方"升级为"架构归纳偏置"，
是本篇纯数据路线之外的正交攻法。技术上可做（KDA 已证明 per-channel gating
可训练），但需要从零训练，成本高。
drill: knowledge/L2/paper/2404.13208.md
[2404.16811] · drill: knowledge/L2/paper/2404.16811.md
[2509.17765] · drill: knowledge/L2/paper/2509.17765.md
[2412.10079] · drill: knowledge/L2/paper/2412.10079.md
[2510.05381] · drill: knowledge/L2/paper/2510.05381.md
[2506.08371] · drill: knowledge/L2/paper/2506.08371.md
[2405.04434] · drill: knowledge/L2/paper/2405.04434.md
[2510.26692] · drill: knowledge/L2/paper/2510.26692.md
[2512.13507] · drill: knowledge/L2/paper/2512.13507.md