KRCore: A Microsecond-scale RDMA Control Plane for Elastic Computing

cluster 2201.11578 — Cross-paper Synthesis

相关论文 #

KRCore 解决 RDMA 控制面性能瓶颈(QP 创建 15.7ms → 5.4μs),与以下五篇论文构成"RDMA/bypass 技术驱动的分布式调度"研究簇:

论文关系关联维度
FaRMpredecessorFaRM 确立了 one-sided RDMA + ring buffer messaging 的分布式平台范式 [farm-nsdi14],KRCore 继承此范式并解决 FaRM 未触及的 QP 扩展性瓶颈——FaRM 用静态 connection multiplexing 绕过问题 [farm-nsdi14],KRCore 从根本上消除 QP 创建代价
OnePiecedownstreamOnePiece 为 AIGC 推理构建 RDMA ring buffer 通信 [2601.20655],隐含假设 RDMA 连接已就绪——KRCore 的微秒级连接建立是其弹性伸缩场景的前置条件
BlinkparallelBlink 用 DPU + persistent GPU kernel 绕过 CPU 控制面 [2604.07609],其 DPU→GPU RDMA 通道在弹性场景下仍需快速建连,与 KRCore 的 DCT 虚拟化互补
RackSchedorthogonalRackSched 在可编程交换机做 rack 级请求调度 [racksched-osdi20],与 KRCore 分属不同层次:KRCore 加速传输层连接建立,RackSched 加速应用层请求路由
CPU-SlowdownsmotivationCPU-Slowdowns 量化了 CPU 控制面瓶颈——tokenization 占 TTFT 50%、broadcast dequeue 膨胀 19× [2603.22774],验证了 KRCore 解决的"控制面延迟"问题在 GPU 推理场景同样严峻

本篇 vs 相关论文的 delta #

vs FaRM #

FaRM 将 RDMA 视为已就绪的高速通道,用 PhyCo 2GB 大页解决 NIC 页表扩展性 [farm-nsdi14],用 connection multiplexing 绕过 QP 数量限制。KRCore 的核心 delta 是将 RDMA 控制面本身作为优化目标:NIC 固件主导 87% 的 QP 创建耗时 [2201.11578],DCT 虚拟化从根本上跳过此路径(5.4μs vs 15.7ms,2,900× 加速)[2201.11578]。FaRM 的 PhyCo + KRCore 的 DCT 互补解决 NIC 两个独立扩展性瓶颈(页表 vs QP 创建)。

vs OnePiece #

OnePiece 在 RDMA 上层构建变长消息 ring buffer,核心挑战是无 CPU 参与的死锁恢复(Theorem 2)[2601.20655]。KRCore 在 RDMA 下层解决连接建立。Delta 在抽象层次:KRCore 提供"连接即服务",OnePiece 消费连接构建"通信即服务"。OnePiece 的 CAS spinlock 竞争可通过 KRCore 的 DC→RC 升级缓解——持久通信 pair 升级为 RC 降低 NIC 固件 overhead。

Blink 将整个 CPU 从推理路径移除(TTFT 膨胀 ≤1.14× under interference vs 基线 18.84×)[2604.07609],scope 远超 KRCore 的 RDMA 控制面优化。但 Blink 的 DPU-GPU ring buffer 依赖 one-sided RDMA WRITE + CAS atomic [2604.07609],弹性场景(新 DPU 加入、GPU 热迁移)仍需 RDMA 连接建立——KRCore 可消除此冷启动。KRCore 的系统调用开销(+46% sync latency)[2201.11578] 在 Blink 的 μs 级 per-token 场景中可能构成显著比例。

vs RackSched #

核心 trade-off 不同:RackSched 回答"哪台服务器处理此请求"(power-of-k-choices,ToR 交换机实现)[racksched-osdi20],KRCore 回答"如何快速建立到目标服务器的 RDMA 通道"。若 RackSched 决定将请求路由到新服务器,KRCore 保证路由决策不被 15.7ms 的连接建立延迟抵消。两者可组合:RackSched 负责路由 → KRCore 负责连接 → FaRM/OnePiece 负责数据传输。

vs CPU-Slowdowns #

CPU-Slowdowns 纯诊断性工作 [2603.22774]。KRCore 的 RDMA-based metadata service(one-sided RDMA READ 替代 RPC)[2201.11578] 可直接缓解 CPU-Slowdowns 识别的 barrier 同步放大——用 RDMA 替代 shared-memory IPC 绕过 1-writer-N-reader busy-wait 竞争 [2603.22774]。KRCore 的 per-CPU 池化设计也天然避免跨核争抢。

可攻击面 #

  1. DCT vendor lock-in:KRCore 完全依赖 Mellanox/NVIDIA ConnectX 系列的 DCT 专有传输扩展 [2201.11578]。Intel、Broadcom 等厂商的 RDMA NIC 不支持 DCT,因此 KRCore 在非 NVIDIA 网络的集群中无法部署。随着 AMD MI300X/MI350X 等非 NVIDIA GPU 在推理集群中占比上升,KRCore 的适用范围受限。
    1. 数据面 syscall 开销在 μs 级调度场景可能显著:sync one-sided READ +46%(3.15μs vs 2.15μs)的 overhead 主要来自 1μs 的内核态系统调用 [2201.11578]。Blink 证明 device-side CUDA graph launch 仅 ≈2μs [2604.07609],此场景下 KRCore 的 1μs syscall 占据 50% 的控制路径——论文未在此粒度评估。
      1. DC→RC 升级假设 hot-path 可稳定识别:hybrid pool 的后台监控依赖流量模式稳定 [2201.11578]。LLM continuous batching 下 batch 组成每步变化,"hot path"概念可能不适用——频繁创建/销毁 RC 连接反而增加开销。
        1. kernel module 运维与容器化冲突:KRCore 以 loadable kernel module 实现(>10k LoC Rust + 250 LoC OFED patch,Linux 4.15)[2201.11578]。GPU 集群普遍使用 Kubernetes + 无特权容器,kernel module 的部署需要 host-level 特权操作,与云原生运维模型冲突。
        2. 生态位 #

          KRCore 占据"RDMA 控制面加速"的独特生态位——唯一将 NIC 固件级 QP 创建瓶颈暴露并系统性解决的工作。在 bypass 技术的演进光谱中:

          • FaRM (2014):bypass 网络协议栈(TCP/IP → RDMA),数据面 10× 加速 [farm-nsdi14]
          • KRCore (2022):bypass RDMA 自身控制面(verbs API → DCT 虚拟化),控制面 2,900× 加速 [2201.11578]
          • Blink (2026):bypass CPU 控制面(host CPU → DPU + GPU persistent kernel),推理全链路免 CPU [2604.07609]
          • CPU-Slowdowns (2026):量化 CPU 控制面瓶颈的影响,1.36–5.40× TTFT 改善空间 [2603.22774]

          这条路线从"bypass 网络栈"→"bypass RDMA 控制面"→"bypass 整个 CPU"不断深化。KRCore 在技术成熟度上优于后续工作(开源实现 + 完整实验 + 10k LoC 工程验证),但直接 LLM 适用性弱于 Blink——KRCore 优化弹性连接建立,而 LLM 推理的主瓶颈是 per-token 的 CPU 编排开销 [2603.22774]

          采纳受制于 DCT 硬件依赖。随着 NVIDIA 推进 DPU/BlueField 路线(Blink 所依赖的 [2604.07609]),NIC 侧 QP 管理可能被 DPU 固件原生支持,KRCore 的内核模块方案面临被 DPU-native 方案替代的风险。

          未探索方向 #

          1. DCT 虚拟化迁移到 DPU:将 KRCore 的 VQP 池化从 host kernel module 迁移到 BlueField DPU ARM 核心,同时为 Blink 式系统提供透明连接管理。消除 host 侧特权需求,与容器化部署兼容,且 DPU 上的 per-core 池化可复用 KRCore 原有设计 [2201.11578]
            1. LLM 弹性场景端到端验证:KRCore 评估了 RACE Hashing 和 serverless 弹性场景 [2201.11578],但未在 GPU 推理弹性场景验证——如 prefill-decode 分离下新 decode 节点加入需建立 KV-cache 迁移 RDMA 通道。此场景的连接模式(burst 建连后长期稳定通信)与 DC→RC 升级策略天然匹配。
              1. 跨 vendor 控制面加速:核心洞察(NIC 固件而非网络握手主导 QP 创建延迟)可在非 DCT 硬件上探索替代实现——如利用 RoCE NIC 的 SRQ/CQ 共享实现连接复用,或通过 NVIDIA DOCA ConnectX 固件 API 直接优化 QP 创建路径。
                1. RackSched + KRCore 联合架构:RackSched 做 rack 级请求路由 [racksched-osdi20],KRCore 提供路由目标的即时连接建立。联合架构可实现"交换机选路 → 微秒建连 → RDMA 数据传输"全流水线,但需解决交换机调度决策与 RDMA 连接状态的一致性。