C2C (2510.03215) — L3 相对定位 #

Mode A 单篇综合：把 Cache-to-Cache 放进 8 篇 algorithm 类邻居里考察 delta、攻击面、生态位与未探索方向。 关系网横跨四条线：KV-Cache 底座（Transformer, SageAttention）、外挂非参数记忆范式（RAG, RAPTOR）、非文本的多模型协调信号（Verifiers）、异构模型生态与安全前提（Llama 3, StruQ, DreamerV3）。

1. 相关论文 #

C2C 的邻居不是"同题竞品"，而是从四个不同层面与之咬合的参照系：

1. KV-Cache 这个被操作对象本身的来源与另一种用法。
2. Transformer（1706.03762）：C2C 操作的 KV-Cache 并非它发明的介质，而是 attention 的直接副产物。1706 的 $1/\sqrt{d_k}$ 缩放点积注意力定义了 K/V 的存在与数值尺度 [1706.03762]；更关键的是，C2C 的"残差融合"在精神上是 1706 把每个 sublayer 包进 LayerNorm(x+Sublayer(x)) 的残差范式 [1706.03762] 的跨模型推广——从"层内不破坏 host 表示"扩到"跨模型不破坏 Receiver 表示"。
3. SageAttention（2410.02367）：同样把 KV / attention 张量当作可直接改写的一等对象，但方向相反——Sage 对 K 做减均值 + INT8 量化以压缩求速度 [2410.02367]，C2C 对 cache 做投影 + 残差注入以富化求精度。二者是同一介质上的"减信息 vs 加信息"对偶。
1. "给生成器外挂非参数记忆"的范式对照。
2. RAG（2005.11401）：最直接的范式对手。RAG 用检索到的文本文档作隐变量做边缘化 [2005.11401]；C2C 用另一个模型的 KV-Cache作残差注入。两者都遵循"冻结大部件、只训一座小桥"的哲学（RAG 冻文档编码器只训 query 编码器 [2005.11401]，C2C 冻双 LLM 只训 fuser）。
3. RAPTOR（2401.18059）：RAG 家族里"多抽象层级检索"的代表，用递归聚类 + LLM 摘要造树 [2401.18059]。它与 C2C 的"逐层异质、选择性富化"（只有少数层值得增强）形成有趣的平行——一个在文本抽象层级上选，一个在表示层上选。
1. 非文本的多模型协调信号。
2. Verifiers（2110.14168）：generator + 独立 verifier 的协作，协调信号是逐 token 标量价值分而非文本 [2110.14168]。这与 C2C "communicate beyond text" 的核心命题同源——都承认 token 串是低带宽接口——只是 C2C 的协调信号是整张 cache 张量，带宽高出数个量级。
1. 异构模型生态与安全前提。
2. Llama 3（2407.21783）：C2C 的全部卖点建立在"存在大量专精、异构、不同尺寸的模型"这一前提上；Llama 3 herd（8B/70B/405B，code/math/multilingual 专精）[2407.21783] 正是这种生态的供给侧。
3. StruQ（2402.06363）：把"prompt/data 通道混合"视为注入漏洞根因并用通道分离修复 [2402.06363]。C2C 新开的"Sharer→Receiver cache 注入"通道继承了这一攻击面（见 §3）。
4. DreamerV3（2301.04104）：跨目标融合/变换表示并靠一组量纲无关技巧求鲁棒 [2301.04104]，与 C2C "残差 + near-0 初始化 fuser 安全退化"的设计哲学同构。

---

2. 本篇 vs 相关论文的 delta #

vs RAG（最承重的对照）. 二者都是"参数化生成器 + 可修改外部知识"，但 delta 是本质的：RAG 的非参数记忆是一个静态文档语料库，注入方式是把文本拼进 context 并对隐文档边缘化 [2005.11401]；C2C 的非参数记忆是另一个活模型的内部状态，注入方式是把 cache 投影后以残差加到 Receiver 的 cache 上。由此派生三点：(a) C2C 完全绕过文本生成，省掉 RAG 仍需的解码；(b) 代价互换——RAG 的 FAISS 索引是 O(1) 可热插拔的 [2005.11401]，C2C 却要为每一对 Sharer–Receiver 训练一个 fuser，O(N) 扩展是其自承的硬限制；(c) RAG 的文档可被人读、可溯源，C2C 的 cache 不可读——这是其"隐私"卖点，也是其攻击面（§3）。

vs RAPTOR. RAPTOR 证明"让检索能命中不同抽象层级"能把 QuALITY 抬 20 个点 [2401.18059]，但全程在文本/摘要空间操作。C2C 的逐层 Gumbel-sigmoid 门控（发现 28 层里只有少数真正受益）是同一"按层级/粒度选择"的思想，但搬到了表示空间，省去了 LLM 摘要调用。delta：RAPTOR 的层级是显式构造的树，C2C 的层级是 attention 天然的深度轴。

vs Verifiers. 两篇都拒绝"文本是唯一接口"。但通信模式正交：Verifier 是单模型 × 测试时搜索（采 100 条、按分重排）[2110.14168]，C2C 是双模型 × 一次性融合。带宽上 C2C（整张 cache）远高于 verifier（标量分），但 verifier 的信号可解释、可审计，C2C 的不可。一个耐人寻味的交叉：verifier 的"刻意欠训 generator 以保覆盖率"是测试时组合的技巧，而 C2C 恰好能把一个几乎没用的 base 模型（Qwen3-4B-Base 单独 ~1%）当 Sharer 榨出价值 [2510.03215]——两者都在说"弱/欠优模型在组合框架里仍有残值"。

vs Transformer. C2C 几乎是 1706 残差范式的直接延拓：Eq(1) 的 $\mathcal{C}^F = C_n(X) + F_n(\cdot)$ 与 LayerNorm(x+Sublayer(x)) 是同一"加修正、不覆盖"的安全约束 [1706.03762]。消融里 Project 行（无残差直接替换）坍塌到 ~20%（低于随机）[2510.03215] 正是"破坏 host 表示即灾难"的跨模型版证据。delta：1706 保证的是层内梯度可传，C2C 保证的是跨模型语义不互毁。

vs Llama 3. 哲学对立而互补。Llama 3 的信条是"质量来自数据/规模/复杂度管理，而非架构花招"，用一条 boring recipe 把单模型推到 GPT-4 级 [2407.21783]。C2C 反过来主张："与其把一切塞进一个强模型，不如把现成的弱/专精模型无训练地组合。"两者在"如何获得能力"上给出相反处方。值得注意：Llama 3 的对齐流水线会把 Qwen3-4B-Base 这种不 follow instruction 的模型判为失败品，C2C 却从中取到 43.95% 的增益——同一个模型在两套价值观下评价相反。

vs DreamerV3. 深层设计哲学同构：都是"冻结/固定主干 + 靠一组保证安全退化的变换做跨域/跨模型鲁棒"。DreamerV3 用 free-bits 的 max(1,KL)、零初始化输出头防止训练起步时幻觉大奖励 [2301.04104]；C2C 用残差 + near-0 初始化 fuser 保证"$F_n\approx 0$ 时退化为 Receiver-only" [2510.03215]。delta：DreamerV3 驯服的是奖励/回报的数量级，C2C 驯服的是跨模型表示的不相容；但二者都无形式化保证、纯消融支撑。

vs SageAttention. 同介质、反目标，正交可叠。Sage 把 KV 压成 INT8 换 2.1× 速度且端到端损失 <0.2% [2410.02367]；C2C 往 cache 里加语义换 +3~5% 精度但付 90ms 融合开销 [2510.03215]。二者都"对冻结模型即插即用"，且作用在推理栈的不同层（Sage 是 kernel 级、C2C 是模型组合级）——原则上可叠：用 Sage 的量化 cache 喂 C2C 的 fuser。

---

3. 可攻击面 #

(A) "2.5× 平均加速"是被一个病态 baseline 撑大的平均。 三个 Sharer 的加速分别是 3.46×、1.51×、14.41×，均值被 Qwen3-4B-Base 那一档（14.41×）严重拉高，而那一档之所以快，是因为 base 模型在 T2T 下生成了异常冗长的文本（T2T decode 7.54s）[2510.03215]。把这个离群点去掉，Llama3.2-1B Sharer 只有 1.51×。更根本的问题：C2C 的时间优势部分来自 T2T 的通信文本长度被设为 256 且 base 模型未加约束——这更像"T2T baseline 配置欠佳"而非"C2C 本质更快"。公平对比应给 T2T 一个同等受控的简短通信预算。

(B) 增益的天花板完全未探。 Receiver 在全部主实验里固定为最小的 Qwen3-0.6B。论文自己的 Figure 6 显示 C2C 的 ∆Accuracy 随 Receiver 变强而收窄（基线更高、与 Sharer 知识重叠更多）[2510.03215]。于是"6.4–14.2% 高于单模型"这个头条数字很可能是小 Receiver 专属红利，没有任何证据表明 Receiver 本身已是 7B/14B 强模型时 C2C 还有正收益——而那恰是实际部署最常见的设置。

(C) Oracle 动机的隐藏弱点：富化可行，但劣于"直接看更多 token"。 Table 1 里 Oracle（62.34%）确实 > Direct（58.42%），支持"同长度也能富化" [2510.03215]。但同表 Few-shot（63.39%）仍高于 Oracle。也就是说，整套 C2C 的立论基石——"不增长度也能提质"——其增益上界被最朴素的 few-shot 盖住。严格说，Oracle 证明的是可行性而非最优性；若把 cache 预算放开，拼接才是更强策略。C2C 的价值因此更应落在"省延迟/跨模型"而非"富化本身更优"。

(D) 隐私卖点撞上 StruQ 的通道安全课。 论文把"传 cache 不传文本"列为隐私优势 [2510.03215]。但 StruQ 的核心教训是：一旦存在一条可被不可信方写入、又会被模型内化的通道，就必须有通道分离 + 保留 token 过滤，否则就是注入漏洞 [2402.06363]。C2C 的 "Sharer cache 残差注入 Receiver" 恰是一条无任何过滤的新通道——StruQ 有 [MARK]/[INST] 保留 token 和递归过滤器把关 [2402.06363]，C2C 对 Sharer cache 没有任何完整性/来源校验。论文自承的失败模式"弱 Sharer 用噪声污染强 Receiver" [2510.03215] 用安全视角重述就是：一个被投毒的 Sharer cache = 一次直达 Receiver 表示层的无防护注入。把 cache 当隐私盾，却没给这面盾配防注入机制，是自相矛盾的。

(E) "互补正确集"可能是方差而非专精。 论文用 Figure 7 的 Venn 图论证不同模型正确集重叠有限、故互补 [2510.03215]；但它没做显著性检验，"50.97% / 72.11% 继承率"这类数字无法排除是采样方差/温度噪声导致的集合差异，而非真实的能力专精。若是前者，C2C 的增益就更像集成平均而非"语义互补"。

(F) 自承但未解的硬限制（非反驳，记账）. 残差 + 退火二值门控的必要性被 Table 8 牢固支撑（Project 20% → +Fuse 44.88% → +Gate 47.95%）[2510.03215]，这一条不可攻击。O(N) 的多模型扩展成本则是作者明确承认的开放问题。

---

4. 生态位 #

范式坐标。 C2C 想做的事，在野心量级上类比 RAG 当年把 QA 从 closed-book 推向 retrieval-augmented——把多 LLM 的接口介质从 token 串换成张量。在"协作丰富度 × 延迟"这条轴上，它卡在两个既有极点之间：一端是 routing（直接丢弃他模型 context，便宜但信息全失）[2510.03215]，另一端是 T2T 协作（信息丰富但串行解码慢）。C2C 占据的是"共享潜在表示"这个中间点：比 routing 富、比 T2T 快。

采纳证据薄弱（诚实定位）。 与邻居对比，C2C 处于采纳前阶段。Transformer 已是所有现代 LLM 的底座 [1706.03762]；RAG 的参考实现进了 HuggingFace 成为标准件 [2005.11401]；SageAttention 已被 ComfyUI/Diffusers 等框架集成为加速后端、Smooth K 被多个后续量化工作沿用 [2410.02367]。C2C 虽已开源（thu-nics/C2C）且训练极廉（~300 步 /<9 GPU·小时）[2510.03215]，但截至 ICLR 2026 无独立复现报告，上游代码是唯一参考实现 [2510.03215]。其"每对模型需单独训 fuser"的 O(N) 特性是采纳的结构性阻力——不像 SageAttention 那样一次写 kernel 处处可用。

栈内位置与可组合性。 C2C 与邻居多数是正交互补而非竞争：

• 对 SageAttention：不同层（kernel vs 模型组合），可叠。
• 对 RAG/RAPTOR：C2C 处理"模型间"知识流，RAG 处理"模型与语料库间"知识流，可串联（见 §5）。
• 对 Llama 3：C2C 是 herd 生态的下游消费者——herd 越丰富，C2C 可组合的互补 Sharer 越多。

依赖的外部条件。 C2C 的生态位能否成立，取决于两个它不自产的前提：(1) 存在足够多样的专精模型（由 Llama 3 式 herd 供给）；(2) "冻主干训小桥"的训练范式有效——这一范式它与 RAG、DreamerV3 共享，并非 C2C 独有发明。

---

5. 未探索方向 #

从这个邻居簇里能读出若干"技术上可做、尚无人做"的混合/自适应方向：

1. C2C × RAG/RAPTOR：融合"被检索增强过的 Sharer"的 cache。 让 RAPTOR 为 Sharer 构建层级摘要树并 prefill 命中的节点 [2401.18059]，再把这份被外部语料富化过的 cache 经 C2C 注入 Receiver。这把"模型↔语料库"（RAG）与"模型↔模型"（C2C）两条非参数记忆通道串起来。论文自己的 T-C2C（文本解释 + cache 融合）在 GSM8K 达 78.01%、超单独 C2C 约 +16% [2510.03215] 已是这个方向的弱信号。
1. C2C × Verifier：用价值信号驱动自适应、逐样本的层/token 门控。 现在的 Gumbel-sigmoid 门是训练后静态的。借 2110 的 verifier 思路 [2110.14168]，可在推理时用一个轻量价值头判断"这一层/这一段注入 Sharer cache 是否会提升"，把静态门换成测试时自适应门——同时缓解 §3(E) 里"弱 Sharer 污染"的问题（价值信号低则关门）。
1. 学习式层映射，取代 terminal 对齐。 当前 $G(n)$ 是固定的末端对齐启发式 [2510.03215]。可借 RAPTOR 的 BIC/模型选择思路 [2401.18059]，用数据驱动地选 Receiver↔Sharer 的层对应，尤其在跨架构、层数差异大时。
1. 安全硬化的 C2C：给 cache 通道配 StruQ 式防火墙。 针对 §3(D)，设计一个"Sharer cache 完整性/异常检测"层，对注入前的 cache 做来源校验或分布异常过滤，类比 StruQ 的保留 token + 递归过滤 [2402.06363]。配套地补上论文自承最缺的那条保证：在何种 Sharer–Receiver 相容性假设下，融合不会抬高 Receiver 损失 [2510.03215]。
1. 尺度鲁棒的单 fuser，攻 O(N) 限制。 借 DreamerV3 的量纲无关变换思想 [2301.04104]，对融合 cache 做尺度归一，使一个 fuser 能跨不同 Sharer 尺寸泛化，而非每对模型各训一个——直接冲击论文的核心扩展性瓶颈。
1. C2C × 推测解码 / 跨模型 draft。 论文已点名此方向：用跨模型 cache 作为 speculative decoding 的 draft 来源，或在异构模型间做 token 级路由以降延迟/成本 [2510.03215]。与 SageAttention 的量化加速叠加后，可探"快 + 富"的联合 cache 栈。
1. 跨模态 cache 融合（VLM/VLA）。 同样是论文自列方向——把 C2C 从纯文本模型扩到视觉语言 / 视觉语言动作模型间的 cache 融合，这一步没有任何邻居做过，是簇内空白。