CodeComp (2604.10235) — L3 Cross-Paper Synthesis #

1. 相关论文 #

2. 本篇 vs 相关论文的 delta #

CodeComp vs SideQuest [2602.22603]：SideQuest 用一个 parallel auxiliary LRM thread 做 semantic reasoning 决定哪些 tool response 已 stale——本质上是 runtime, model-driven, dynamic eviction。CodeComp 用 Joern CPG 做 compile-time, static-analysis-driven, structural protection。

核心区别：SideQuest 的 eviction 决策是 context-dependent (当前推理状态决定什么该删)，适合 multi-turn agentic reasoning 中的 stale response 回收。CodeComp 的 protection 决策是 structure-determined (code semantics 决定什么不可删)，适合 single-shot code understanding where structural tokens are unconditionally critical。

互补性：一个 agentic coding workflow 可以同时使用两者——CodeComp 在 prefill 时保护 structurally critical tokens from initial compression，SideQuest 在 multi-turn execution 时 semantically evict stale tool outputs。两者作用于 KV lifecycle 的不同阶段。

CodeComp vs KV Cache Survey [2412.19442]：Survey 的三层 taxonomy (token/model/system) 将 token-level 方法分为 Selection、Budget Allocation、Merging。CodeComp 横跨 Selection (span protection) 和 Budget Allocation (structure-aware inter-chunk allocation)——但引入了 survey 未预见的第四维度：domain-specific structural signal。Survey 中所有 selection 方法都基于 attention statistics；CodeComp 首次引入 program analysis 作为 orthogonal importance signal。

这填补了 survey 的一个系统性空白：所有现有方法假设 "attention score ≈ token importance"——CodeComp 证明在 code domain 中 Jaccard overlap 仅 0.0944 [2604.10235]，即两个 signal 近乎正交。

CodeComp vs KVDrive [2605.18071]：KVDrive 通过 multi-tier offloading (HBM/DRAM/SSD) 扩展 KV cache 的物理容量。CodeComp 通过 compression 减少 KV cache 的逻辑大小。两者是 orthogonal solutions to the same problem：

• KVDrive: "所有 KV 都保留，但分层存储" → 适合 long-context batch serving
• CodeComp: "只保留重要的 KV" → 适合 memory-constrained single-inference

组合使用：CodeComp 先压缩到 40–60% retention，compressed KV 再用 KVDrive 的 2D MCKP 窗口分配跨层管理。CodeComp 减少 total KV volume → KVDrive 的 I/O 负载也相应减少。

CodeComp vs Continuum [2511.02230]：Continuum 解决 multi-turn agent 的 KV 保留决策——当 tool call 返回时，是否保留 KV cache in GPU memory。CodeComp 解决 initial prefill 时的 KV 压缩决策——在 context 首次进入时决定保留哪些 tokens。两者是 lifecycle 的前后阶段：CodeComp 管理 "入口"（prefill compression），Continuum 管理 "生存"（cross-turn retention）。

3. 可攻击面 #

1. Span weights 手动调参，无 sensitivity analysis：function calls (0.20), control-flow (0.18) 等权重是 fixed across all models/benchmarks [2604.10235]。虽然 feature ablation (Fig 4a) 验证了 relative ordering，但未提供 weight sensitivity 分析——不同 code style (functional vs OOP vs scripting) 可能需要不同权重。
1. SnapKV 在 localization 上胜出：Qwen-Coder SWE-bench cap=0.6 上 SnapKV GF F1 = 0.700 > CodeComp 0.613 [2604.10235]。这暗示 attention-based methods 对 coarse file-level localization 仍有优势——CodeComp 的 structural protection 可能过度保护 intra-chunk detail 而忽略了 inter-chunk relevance ranking。
1. Position encoding hack 未充分验证：Chunks 独立评分后保留原始 position indices (可能 overlap)，query 被 pushed 到 $p_{\text{query}} = \max_i \text{len}(C_i) + \text{len}(\text{prefix})$ [2604.10235]。这在 RoPE 模型上是非标准用法——可能导致模型在未见过的 position distribution 上行为退化，但论文未分析此交互。
1. Joern CPG 的语言限制：Joern 对 Python (agentic coding 的主流语言) 的支持不如 C/C++/Java 成熟。论文未说明测试代码的语言分布——如果主要是 Python，CPG 质量可能受限。

4. 生态位 #

CodeComp 开创了 domain-specific KV cache compression 的新范式：利用 domain-specific structural signal (code → CPG) 指导 compression，而非仅靠 model-internal attention scores。其学术贡献在于证明了 attention 和 structural importance 在 code 上是近乎正交的 (Jaccard = 0.0944)。

定位：适合 agentic coding pipelines (SWE-bench style agent, Cursor/Devin) 中 prefill-time KV compression。不适合 general NL tasks (structure signal 不存在)。

扩展潜力：同样的 "domain-specific structural signal" 思路可推广到 SQL (schema graph)、legal docs (clause dependency)、scientific papers (citation graph)。

5. 未探索方向 #

1. CodeComp + SideQuest 双层 KV 管理：CodeComp 在 prefill 时做 structural protection → SideQuest 在 multi-turn 时做 semantic eviction。Protected tokens 作为 SideQuest 的 "hard anchor" 不可被 evict——实现 structure-aware + semantics-aware 双重保障。
1. Learnable span weights via RL：将当前的 fixed weights 替换为 per-model learned weights——以 downstream task accuracy 为 reward 做 simple RL-based weight optimization。只需调 6 个标量参数，搜索空间极小。
1. Runtime adaptive structural protection：当前 structural protection 在 prefill 时一次性确定。在 iterative agentic coding 中（agent 多轮修改代码），某些 structural tokens 可能变得 stale (deleted function)。Dynamic structural re-analysis after each edit round 可以 release protected slots。
1. Integration with quantization-based KV compression：CodeComp (token selection) 与 KIVI/KVQuant (bit-width reduction) 是正交的。先用 CodeComp 选择保留哪些 tokens，再对保留的 tokens 做 4-bit quantization——双重压缩可以在 cap=0.2 + Q4 下实现 ~10× effective compression。
1. Cross-file structural graph：当前 CPG per chunk 不捕获跨文件依赖 (import chains, class inheritance, API contracts)。将 CPG 扩展为 repository-level dependency graph 可以更精确地分配 cross-chunk budget。