本篇（Persistent Q4 KV Cache for Multi-Agent LLM Inference on Edge Devices）处于 agent 推理基础设施的 KV cache 管理子领域。与之相关的六篇论文分三个维度交叉：
KV cache 生命周期管理（数据中心侧）
上下文管理与虚拟内存类比
生产 Agent 架构与多 Agent 记忆
六篇相关论文全部面向数据中心 GPU 集群或服务端部署。本篇是唯一一篇在固定 RAM 边缘设备（Apple M4 Pro, 24 GB）上做多 agent KV cache 管理的工作 [2603.04428]。这不仅是部署目标的差异——边缘设备的 40× token 处理速度劣势（260 tok/s vs 10,000+ tok/s）使 prefill 成本从"400 ms 的小麻烦"变成"15.7 秒的不可忍受"，问题的量级完全不同。
Continuum 的 TTL 机制在数据中心有效是因为 GPU 有 80+ GB HBM 和 10,000+ tok/s 的 prefill 速度——TTL 过期后 re-prefill 仅需数百毫秒 [2511.02230]。在边缘设备上，同等 re-prefill 代价放大 40×，TTL 的 cost-benefit 平衡点完全不同。
本篇的核心 delta 不是单一技术的突破，而是三个已知技术（KV cache 量化、磁盘持久化、批量推理）在边缘多 agent 场景的首次组合 [2603.04428]。论文自身明确承认这一点。
与相关工作的对比：
本篇是唯一支持服务重启后 cache 存活的方案。vllm-mlx 的 FP16 prefix cache 在 restart 后全部丢失 [2603.04428]。Continuum 的 TTL 机制绑定于 GPU 显存中的 KV blocks [2511.02230]。SAGA 的 session-affinity 路由依赖 worker 内存状态 [2605.00528]。Claude Code 的 session persistence 保存的是 JSONL transcript（文本），不是 KV cache（计算状态）[2604.14228]。safetensors 格式的磁盘持久化使本篇成为唯一能跨进程、跨重启甚至跨重启保留注意力计算结果的方案。
本篇采用字符级文本比较做 prefix matching，避免 BPE 分词的上下文依赖性 [2603.04428]。SAGA 和 Continuum 均依赖标准 token ID 匹配（继承自 vLLM/SGLang 的 prefix caching）。这是一个容易被忽视但在多阶段工作流中实际重要的设计选择——当 agent 的 prompt 在阶段间单调增长时，字符级匹配保证了 EXTEND 匹配的确定性。
136× 加速数字（Gemma 3 12B, 32K, hot cache）的分母是 172 秒的 cold prefill [2603.04428]。Gemma 3 12B 在 Apple M4 Pro 上的 prefill 速度极慢（48 层 × GQA × 32K context），这是边缘设备的固有劣势而非系统贡献的体现。在数据中心 GPU 上，同等 cold prefill 仅需 ~1 秒，此时 warm reload 的加速比会降至个位数。论文在 §7 提及 H100 的 ~370 ms TTFT 作为对照 [2603.04428]，但未系统分析加速比如何随硬件性能缩放——当分母足够小时，I/O 开销本身可能成为瓶颈。
Q4 vs FP16 的 0.281 比率（72% 内存节省）直接由量化公式 $(1+8/g)/4$ 在 $g=64$ 时推导而来 [2603.04428]。4× 容量提升是此比率在固定内存预算下的算术结果。KIVI 和 KVQuant 已在数据中心场景验证了 4-bit KV cache 的可行性；本篇的边缘移植虽有工程价值，但量化本身不构成方法论创新。
PPL 评估使用 512-token 滑动窗口，短于 Gemma 3 的 sliding-window attention（window=1024）[2603.04428]。这意味着评估未覆盖量化误差在长距离注意力中的传播效应。此外，WikiText-2 语料库（英文维基）与多 agent 编码/推理的实际用例（代码、结构化数据、多轮对话）存在 domain gap。未报告置信区间使 Gemma 的 −0.7% PPL "改善"无法与测量噪声区分。
SideQuest 至少在 agent 任务成功率上做了端到端评估（FRAMES 精度 ~63%，BrowseComp ~35%）[2602.22603]。本篇在 multi-agent 路由场景中报告了质量分数（Gemma 8/10, DeepSeek 3/10），但将 DeepSeek 的低分归因于"模型能力而非 caching artifacts"，缺乏消融验证 [2603.04428]。
论文将 block pool 比作 page table、SSD 比作 swap [2603.04428]。CMV 也使用了虚拟内存类比 [2602.22402]。但 OS 虚拟内存的核心价值在于地址空间抽象和按需分页——应用程序无需知道物理页的位置。本篇的 block pool 缺少这两个关键特性：(1) agent 框架必须通过 persistent_cache_prefix 显式管理缓存生命周期，(2) 没有按需分页（要么全在内存，要么全在磁盘）。$1/N$ 延迟隐藏的预测也未经端到端验证——仅有 $N=2$ 的 staggered arrival 部分数据 [2603.04428]。
所有实验在单台 M4 Pro MacBook 上完成，batch size 最大为 2 [2603.04428]。在真实多 agent 场景中（10–20 agents），cache 的频繁换入换出会产生 SSD 磨损和 I/O 队列竞争，论文未量化这些二阶效应。SAGA 在 64 GPU、多租户场景下评估了公平性和尾延迟 [2605.00528]；Continuum 在真实 SWE-agent 测试床上验证了 8.18× 延迟下降 [2511.02230]——本篇的评估规模与这些工作存在数量级差距。
系统深度依赖 MLX 的 quantized_scaled_dot_product_attention 做 Q4 fused attention [2603.04428]。MLX 是 Apple 的研究框架，生态规模远小于 PyTorch/CUDA。MLX 非线程安全（需单线程调度器 + RLock），batch=2 的实现方式（两个 agent decode 合并为单次 Metal kernel dispatch）实质上是协作式并发而非真并行 [2603.04428]。论文声称 block pool、Q4 格式、prefix matching 等组件可移植 [2603.04428]，但 fused Q4 attention kernel 在 CUDA 上没有对等实现（vLLM 仅有 FP8），使移植承诺悬而未决。
将本篇与相关论文置于 agent 推理基础设施栈中，一个清晰的分层结构浮现：
| 层 | 职责 | 代表工作 |
|---|---|---|
| Agent 逻辑 | 规划、推理、工具调用 | Claude Code [2604.14228] |
| 上下文管理 | prompt 裁剪、压缩、分支 | CMV [2602.22402], Claude Code compaction |
| KV cache 调度 | 驱逐、保留、TTL、workflow-aware | Continuum [2511.02230], SAGA [2605.00528], SideQuest [2602.22603] |
| KV cache 存储 | 量化、持久化、格式 | 本篇 [2603.04428] |
| 长期记忆 | 向量检索、ANN 索引 | Pancake [2602.21477] |
本篇占据 KV cache 存储层——在调度层之下、长期记忆之上。它不关心"哪个 cache 该保留"（那是 Continuum/SAGA/SideQuest 的工作），而关心"被保留的 cache 如何高效存储和恢复"。这个定位使它与上下文管理层（CMV、Claude Code compaction）和调度层的工作天然互补而非竞争。
数据中心的 agent serving 方案一致假设 HBM 充裕（80–192 GB）、prefill 速度快（10,000+ tok/s）、网络可达 [2605.00528] [2511.02230]。本篇提出的 UMA 可行性论证——SSD→内存带宽比率约 2.6%、加载后全带宽访问、无 PCIe 悬崖 [2603.04428]——标记了一个潜在的范式位移：当边缘设备从"数据中心的弱化版"重新定位为"具有独特架构优势（统一内存、NVMe 直通）的独立平台"时，需要完全不同的系统设计。
边缘推理避免对话数据的跨境传输——GDPR Art. 44–49 和 HIPAA 45 CFR 164.312 的合规路径因此简化 [2603.04428]。Per-agent safetensors 文件提供可审计、可独立删除的数据记录，支持 GDPR Article 17 的被遗忘权。SAGA 和 Continuum 作为数据中心方案无法提供同等级别的数据主权保障。PROMPTPEEK 攻击（99% 共享 KV cache prompt 重建率）在本篇的 per-agent 隔离设计下不适用 [2603.04428]。
Continuum 的 TTL 决策框架可以扩展到边缘设备的磁盘持久化场景。当 TTL 过期时，不驱逐 KV cache 而是降级写入磁盘——将 Continuum 的 $\tau^*$ 公式中的 $\mathsf{Cost}(\tau, r)$ 从"GPU 显存占用"替换为"SSD 写入 + 存储空间"[2511.02230]。这创造了一个三态模型：hot（内存）→ warm（磁盘）→ cold（驱逐），比本篇的二态模型（内存 vs 磁盘）更精细，比 Continuum 的二态模型（GPU 保留 vs 驱逐）更鲁棒。
SideQuest 的辅助 LRM 线程判断"哪些 tool response 过期"[2602.22603]，但当前只能做 binary 决策（保留 / 删除）。若与本篇的量化管道结合，可实现分级策略：高价值 token 保留 FP16，中等价值降级为 Q4，低价值直接驱逐。这要求将 SideQuest 的 {del_cursors: [ids]} 输出扩展为 {retain_fp16: [...], demote_q4: [...], evict: [...]}——辅助线程的输出格式变化微小，但需要 mixed-precision KV cache 的 attention kernel 支持。
SAGA 的 Agent Execution Graph 可预测跨 tool-call 的 KV cache 复用概率 [2605.00528]。在边缘设备上，这一预测可用于指导预取策略：当 AEG 显示下一步高概率回到某个已在磁盘上的 agent 时，提前启动 SSD→内存的异步加载。本篇已提出"multi-agent 交替执行为 cache 重载提供时间间隙"的 $1/N$ 假设 [2603.04428]，但缺乏 workflow 结构感知——AEG 的 transition probability 可以将盲目的 $1/N$ 预测替换为信息丰富的条件概率。
CMV 的 DAG 状态模型（snapshot → branch → trim）管理对话日志的版本 [2602.22402]。若将此模型下推到 KV cache 层，可实现"注意力状态的版本控制"——从共同前缀 fork 出多条推理路径，每条路径的增量 KV cache 独立持久化。这比 CMV 的文本级 DAG 更强大：文本 DAG 需要 re-prefill 来恢复分支状态，KV cache DAG 可直接加载。但存储开销是挑战——每个分支需要持久化完整的增量 cache，空间复杂度从 $O(1)$ 变为 $O(\text{branches})$。
本篇固定使用 Q4 量化（group size 64）[2603.04428]。未来可根据 cache 温度动态调整：hot cache 保持 FP16 获得零质量损失（适用于 DeepSeek 的 MLA 等量化敏感架构，PPL +3.0% [2603.04428]），warm cache 用 Q4（当前方案），cold cache 用 2-bit（CommVQ 或 RotateKV 已验证 2-bit 可行）。这创造了一个内存-质量 Pareto 前沿上的连续滑动点，而非当前的 FP16/Q4 二选一。
论文将"多设备 cache 传输"列为 future work [2603.04428]。在 Apple Silicon 生态中，M4 Pro MacBook + M4 iPad + iPhone 17 Pro 组成的设备集群可以实现 cache 联邦：主设备运行推理，辅助设备存储溢出的 agent cache。Thunderbolt 4 带宽 ~40 Gbps 足以在秒级传输 Q4 cache（Gemma 4K = 432 MB → ~85 ms）。Pancake 的 hybrid graph 索引 [2602.21477] 提供了跨节点索引管理的参考架构，但需要适配 edge 网络拓扑和间歇性连接。