| ID | 名称 | 关联理由 |
|---|---|---|
| 2309.06180 | vLLM / PagedAttention | Pie 的直接 baseline；monolithic loop 范式的代表，Pie 试图超越其架构约束 |
| 2605.24259 | Resident KV Claims | 将 KV cache 复用从 heuristic retention 提升为显式合约——与 Pie 的 inferlet-controlled KV 生命周期形成互补视角 |
| 2511.02230 | Continuum | Multi-turn agent scheduling 的 TTL 机制；Pie 在单请求内 KV 保持，Continuum 解决跨请求的 KV 保留决策 |
| 2604.17861 | GPUOS | Persistent kernel + device-side dispatch 消除 kernel launch overhead；与 Pie 的 control-layer batching 解决同一问题（GPU idle 时延）的不同层次方案 |
Pie vs vLLM [2309.06180]：vLLM 在 monolithic loop 中提供 PagedAttention 和 continuous batching，KV cache 由系统全局策略管理。Pie 将 KV 的 alloc/dealloc/export/import 暴露为 per-inferlet API，把 application-level 知识编码进 KV 管理——实验证明 stacked optimizations 达到 3.5× throughput over vLLM baseline [2510.24051]。这是一次从 system-knows-best 到 app-knows-best 的范式转换。
Pie vs Resident KV Claims [2605.24259]：Resident KV Claims 定义了一个 conformance contract 使 KV 保留行为可观测、可问责——当 active KV 与 resident KV 冲突时，运行时必须显式报告 harm 或 refuse。Pie 的 inferlets 直接控制 KV 生命周期（显式 alloc/dealloc），本质上将 "claim" 的语义内化到了 program 逻辑中。两者互补：Pie 适合 developer 精确控制的场景，Resident KV Claims 适合多租户、SLO-driven 的场景。Pie 当前缺少的正是 Resident KV Claims 所强调的 contention-observable semantics——当资源不足时 Pie 仅有 FCFS 终止策略 [2510.24051]。
Pie vs Continuum [2511.02230]：Continuum 解决 multi-turn agent 在 tool call 间隙 KV 被驱逐后的 re-queue 延迟，通过 cost-benefit TTL 模型保留 KV。Pie 通过 inferlet 在 generation 期间保持 KV 存活并集成 I/O，消除了 tool call 的 round-trip——但仅在单个 inferlet 生命周期内有效。当 inferlet 退出后 KV 的跨请求保留仍需 Continuum 式 TTL 机制补充。
Pie vs GPUOS [2604.17861]：GPUOS 将 per-kernel launch overhead（3–7 μs）压缩到 ns 级 device function call，实现 15.3× element-wise 加速。Pie 的 overhead 分析 (Table 3) 显示主要瓶颈是 lack of pipelined sampling (1.32 ms)，而 boundary crossing 仅 0.006 ms——说明 Pie 的架构开销不在 kernel launch 而在更高层。但若 Pie 未来扩展到 micro-op fusion（如 GPUOS 式持久 kernel），其 inference layer 的 per-call 开销可进一步压缩。
get_next_dist 暴露给用户 inferlets，允许直接访问完整 logit 分布 [2510.24051]。这在 model-serving-as-a-product 场景下构成 model extraction 风险。论文仅建议 "limiting/obfuscating logit exposure"，无具体机制。Pie 代表了 LLM serving 的 programmability-first paradigm shift——从"服务 prompts"到"服务 programs"。其学术价值在于证明了 decomposed handler architecture 与 GPU-efficient batching 不矛盾（2.4% overhead at 8B）。
采纳信号：发表于 SOSP 2025，开源 (github.com/pie-project/pie)；来自 Yale University (In Gim 团队，此前有 Prompt Cache 和 HotOS'25 "Serve Programs, Not Prompts")。但其 custom 42-API 和 Wasm 要求意味着高迁移成本——不是 drop-in replacement for vLLM/SGLang。
定位：Pie 更适合需要深度定制化推理逻辑的研究场景（tree/graph reasoning、custom attention patterns），而非 production multi-tenant serving。Continuum/Resident KV Claims 处理的 SLO-aware multi-tenant 问题超出了 Pie 当前的设计范围。