K3 是 Kimi 谱系里第一次同时动架构、模态、上下文三条轴的发布，也是第一次把"改模型数学来解锁 kernel 路径"这条逻辑作为公开的设计原则。把它放回谱系和同期竞品里读，最值得记录的不是它做了什么，而是它相对自己的祖先在证据标准上退了一大步，相对同期竞品在可审计性上处于劣势，却在系统开源上走得最远。
| id | 关系 | 提供的对照价值 |
|---|---|---|
2507.20534 | predecessor | K3 唯一的 scaling 效率对照基准（Table 1 变更清单 + Fig. 7 的 2.5×）。也是本谱系最后一次完整披露 token 预算 / batch / LR 的报告 [2507.20534]，并给出了唯一一条 controlled 的 sparsity scaling law [2507.20534] |
2510.26692 | predecessor | KDA 的来源。提供了 K3 缺失的三样东西：KDA 的质量消融（vs GDN / Mamba2 / MLA）、长上下文检索基准、以及一条写清了拟合形式的 scaling law [2510.26692] |
2602.02276 | predecessor | 多模态配方的前一版本（SigLIP 初始化 + 独立 ViT 阶段 + 10:90 早融合）。K3 推翻了其中两条 [2602.02276] |
kimi-k2-6 | baseline | 谱系里"架构冻结 + RL/编排/量化三轴"路线的终点，也是 K3 部署论证的反例：它把"单节点可部署"写进了 load-bearing 论证链 [kimi-k2-6]，并明确以部署生态为由否决了 2T–3T 底模 [kimi-k2-6] |
deepseek-v4 | related | 同一时间窗、同为 1M 原生稀疏 MoE 的开源前沿。是判断"哪些设计是 K3 的选择、哪些是这一代的共识"的唯一外部参照 |
2510.26692 与 2507.20534 是硬依赖：前者定义了 KDA 与 3:1 混合比，后者定义了 2.5× 的分母。deepseek-v4 是本篇分析价值最高的一条边——两家实验室在同一季度、无协调地在九个位置做出了相同选择，这比任何单篇的消融都更能说明哪些是真答案。
K3 的 L2 读 Table 1 得出的结论是增益押在宽度维稀疏扩张上（激活参数 +220%、专家池 +133%、每 token 专家数 +100%）[kimi-k3]。但把 K2 的配置代入同一套算术，参数增长的方向恰好相反。
K2 的单专家为全宽 SwiGLU：$3 \times 7168 \times 2048 = 44.04\,\text{M}$，路由专家总量 $44.04\text{M} \times 384 \times 60 = 1.015\,\text{T}$（61 层减 1 个 dense 层），与报告的 1.04T 总参一致 [2507.20534]。据此 K2 的路由激活 $= 8 \times 44.04\text{M} \times 60 = 21.1\,\text{B}$，非路由激活 $= 32.6 - 21.1 = 11.5\,\text{B}$。K3 侧对应值是 48.62B / 55.58B [kimi-k3]。
| K2 | K3 | 倍数 | |
|---|---|---|---|
| 路由专家激活参数 | 21.1 B | 48.6 B | 2.30× |
| 非路由（常激活）参数 | 11.5 B | 55.6 B | 4.84× |
| 非路由占激活总量 | 35% | 53% | — |
稠密路径的增速是稀疏路径的 2.1 倍。原因可以逐项指认：层数 61→93、共享专家 1→2 且走全宽旁路、以及 LatentMoE 引入的 $W^\downarrow + W^\uparrow = 2 \times 7168 \times 3584 \times 92 = 4.73\,\text{B}$ 常激活投影——这一项 K2 完全没有。
LatentMoE 的净账因此可以算清楚：若保持 $(E, k, h_e) = (896, 16, 3072)$ 但让专家吃全宽 $d = 7168$，单专家 $3 \times 7168 \times 3072 = 66.06\text{M}$，路由总量 5.44T、路由激活 97.2B。改到 $\ell = 3584$ 后二者各自减半（2.72T / 48.6B），all-to-all 流量同样减半。代价是 4.73B 恒定激活的投影税，约占非路由预算的 8.5%。 这是一笔明显划算的交易，但它属于"稠密开销换稀疏容量"，与"增益押在稀疏扩张"是两种不同的叙事。
KDA（vs 2510.26692）：改了两处——log-decay 从无界 negative-Softplus 改为下界化 scaled sigmoid（$g_{\min} = -5$），输出门从低秩改全秩 [kimi-k3]。第一处回答了 Kimi Linear 自己提出的开放问题：Kimi Linear 在 §9 问"chunkwise 算法中的 $K/\Gamma$ 除法对低精度格式是否产生额外数值误差"[2510.26692]，K3 的答案是把 $\Gamma$ 的倒数压进 BF16 动态范围，从而消掉对角 tile 的 position-pair 路径。这是本簇里少见的、后续工作精确闭合前作开放问题的例子。
但 3:1 的混合比原样继承。该比例的消融来自 Kimi Linear 的 Table 1，在 653M–3B 激活、≤128K 上下文上做的 [2510.26692]；K3 在 104B 激活、1M 上下文下沿用，未复验。Kimi Linear 的开放问题 #1（"per-channel gating 优势在 600B+ 是否持续"）与 #2（"是否适用于 vision token 的 2D 结构"）K3 都用行动作答（用了、也把视觉 token 送进同一条 NoPE 流），但都没有给测量。
优化器（vs 2507.20534）：K3 是 Per-Head Muon + weight clipping [kimi-k3]，QK-Clip 消失了。K2 最出名的贡献正是诊断出 Muon 的等奇异值更新经 $\mathbf{Q}^h\mathbf{K}^{h\top}$ 双线性形式平方放大导致 logit 爆炸，并给出 per-head 事后 rescale [2507.20534]。报告未说明该问题是否还存在。有两种读法，且都值得记录：(a) 93 层里 69 层是 KDA，根本没有 softmax logit，剩下 24 层 MLA 又是 NoPE——而 QK-Clip 当初那个 $\sqrt{\gamma}$ / $\gamma$ 的分裂处理，存在的唯一理由就是 MLA 的 compressed 与 rotary 分量必须区别对待 [2507.20534]；NoPE 把 rotary 分量整个删掉了。(b) 通用 weight clipping 覆盖了它。若是 (a)，那么解锁 1M 的那次架构改动顺带消灭了本谱系最著名的稳定性补丁——这是一条 K3 本可以主张却没有主张的收益。（此为推断，两篇报告均未陈述。）
视觉（vs 2602.02276）：K2.5 建立的配方是 SigLIP 派生的 MoonViT-3D（head_dim 72 与 SigLIP-SO-400M 取值相同，直接沿用）+ 约 1T token 的独立 ViT 阶段 + 10:90 早融合，并明确主张零视觉 SFT 的可行性因果依赖于这套联合预训练 [2602.02276]。K3 放弃对比学习初始化，MoonViT-V2 从零用 next-token prediction 训练，也不再有独立对齐阶段 [kimi-k3]。
矛盾根源：两篇都没做这个消融。K2.5 从未对比过 SigLIP-init 与从零训练；K3 用的是梯度范数曲线（稳定性证据），而"matches the SigLIP-initialized baseline across vision evaluations"这句质量断言没有配任何逐 benchmark 表 [kimi-k3]。所以这不是"新证据推翻旧结论"，而是谱系在零受控对照的情况下把视觉配方翻转了一次。同时 K3 唯一被公开测量的视觉-grounding 类任务 OSWorld 2.0 是 58.3 vs 66.1 的落后项 [kimi-k3]，而视觉在 K2.6 也已是最弱轴（MMMU-Pro 仅 +0.9，BabyVision 39.8 vs GPT-5.4 的 49.7）[kimi-k2-6]。
后训练（vs 2602.02276 / kimi-k2-6）：K3 的 per-problem token budget $\tau \cdot b_0(x)$ 逐级退火 [kimi-k3] 是 K2.5 的 Toggle（budget = 前序正确 rollout 长度的 $\rho$ 分位）的直系后代 [2602.02276]。更有意思的是 MOPD：K2.5 把 clipped log-ratio 用作策略约束（$L_{\text{RL}}$ 的裁剪项），K3 把同一个量 $\mathrm{clip}(\mathrm{sg}(\log \pi_{\text{teacher}}/\pi_\theta), \pm R_{\max})$ 用作dense reward 喂进 RL 框架——同一个统计量从约束侧搬到了目标侧，动机是保住 partial rollout 的可用性。
| 训练 token | batch | peak LR | 最优超参搜索结果 | |
|---|---|---|---|---|
| K2 | 15.5T（分阶段） | 67M | 2e-4，含 schedule | $\tau=100$、$\lambda=0.1$ 等 [2507.20534] |
| K2.5 | ~15T + ~1T + ~15T | 未披露 | 未披露 [2602.02276] | 未披露 |
| K2.6 | 未披露（blog） | 未披露 | 未披露 [kimi-k2-6] | 未披露 |
| K3 | 未披露 | 未披露 | 未披露 | 未披露 [kimi-k3] |
K3 尤其反常的一点：它明确告诉读者自己对 cosine decay 与 WSD 各自独立做了一遍 scaling-law 超参搜索，并指出用共享超参比较会不公平地偏袒一方——然后 batch size、peak LR、TPP、model shape 的搜索结果一个都不给。它披露了方法论的严谨性，却扣留了让该严谨性可被利用的全部数字。 同期 DeepSeek-V4 给出 32T/33T token、75.5M/94.4M batch、2.7e-4/2.0e-4 peak LR、4K→16K→64K→1M 的序列课程、MTP loss weight 0.3→0.1、balance loss weight 1e-4 [deepseek-v4]。两个方向相反。
两家在同一时间窗、无协调的前提下做出了相同选择，收敛项本身就是本簇最强的证据：
| # | 收敛点 | K3 | DeepSeek-V4 | ||
|---|---|---|---|---|---|
| 1 | 低精度只覆盖路由专家 | MXFP4 权重 / MXFP8 激活，attention、latent 投影、共享专家、router 保持高精度 [kimi-k3] | FP4 MoE 专家权重 + FP4 indexer QK path，其余 FP8 [deepseek-v4] | ||
| 2 | Muon 系优化器 | Per-Head Muon | Muon + AdamW 混合，10 次两阶段 Newton–Schulz [deepseek-v4] | ||
| 3 | 多教师 on-policy 蒸馏合并领域专家 | 9 专家 → MOPD | 10+ specialist → OPD，full-vocabulary logit distillation [deepseek-v4] | ||
| 4 | 分级 reasoning effort | low / high / max | Non-think / Think High / Think Max [deepseek-v4] | ||
| 5 | 不可验证任务用生成式 reward model | Agentic GRM + verbosity 预算 | GRM，actor 本身即 GRM | ||
| 6 | MTP → 投机解码 | MTP × 1 → EAGLE-3 draft [kimi-k3] | MTP depth 1 [deepseek-v4] | ||
| 7 | 十万量级 microVM 沙箱舰队 | AgentENV，累计 51,219,741 个沙箱 [kimi-k3] | DSec，Rust，数十万并发，四种执行底座 [deepseek-v4] | ||
| 8 | 为压缩/有状态注意力重写 cache 管理器 | KDA-aware 前缀缓存，hash 512 token 与物理块解耦 [kimi-k3] | State Cache + lcm($m,m'$) 块的 Classical KV Cache + 三种 on-disk 策略 [deepseek-v4] | ||
| 9 | 给 GLU 的线性分支加上界 | SiTU-GLU，softcap 到 $\beta_1\beta_2 = 100$，$\ | \cdot\ | _\infty$ 有界 [kimi-k3] | SwiGLU clamp 到 $[-10, 10]$，gate 上界 10 [deepseek-v4] |
第 9 条尤其值得单独记：两家在万亿参数规模上独立收敛到同一个干预（截断门控激活的无界线性因子），只在硬 clamp 与光滑 softcap、以及 10 vs 100 的截断值上不同。这是本簇里唯一一条有两次独立大规模确证的机制，比任何单篇自己的消融都更可信——而两篇都没有单独消融它。
四处分叉：
分叉 1 — 长上下文机制的性质。K3 是有状态压缩：69 层 KDA 各持一份与序列长度无关的定长状态，遗忘是内容相关的学习行为；24 层 NoPE MLA 保留对全 1M 的精确全局注意力 [kimi-k3]。DS-V4 是位置压缩 + 选择：CSA 每 4 个 token 压 1 条再 top-k 选 1024 条，HCA 每 128 个 token 压 1 条做 dense attention，除 128-token 滑窗外没有任何一层是未压缩的 [deepseek-v4] [deepseek-v4]。
失效模式因此正交：K3 的 KDA 层受容量饱和限制（1M token 与 8K token 共用同样字节的状态），但有 26% 的层完全不受影响；DS-V4 全程受分辨率损失限制（HCA 层里一根针要和 127 个邻居一起被平均），但每一条压缩 entry 仍是位置可寻址的。KV 斜率上 DS-V4 更激进：CSA 层 128 float/token、HCA 层 4 float/token [deepseek-v4]，对 V3.2 是 10%；K3 的 24 层 MLA 在 $d_c = 512$ 下约 24.6 KB/token，对等深度全 MLA 是 25.8%。
分叉 2 — 稀疏度方向（表面矛盾，可调和）。K2 自己的 sparsity scaling law 在固定 8 个激活专家下测出 sparsity 48 最优，48 相对 32 省 1.15× FLOPs [2507.20534]。此后两家走了相反的路：K3 把池子 384→896 同时把激活数 8→16（sparsity 48→56）；DS-V4 把激活数 8→6 而把池子扩到 384（sparsity 32→64）[deepseek-v4]。
矛盾根源是计数单位，不是策略。按"每层每 token 的激活专家参数量"归一：K2 $8 \times 44.04\text{M} = 352\text{M}$；K3 $16 \times 33.03\text{M} = 528\text{M}$；DS-V4-Pro $6 \times 66.06\text{M} = 396\text{M}$（$3 \times 7168 \times 3072$，由 [deepseek-v4] 的配置表推算）。三者同量级。两家其实都在往更细粒度的专家走，只是 K3 通过压窄输入宽度（$\ell = d/2$）实现，DS-V4 通过削减激活个数实现。以"专家个数"计的相反方向是记账假象。
分叉 3 — 深度机制的约束强度。AttnRes 的 $h_l = \sum_i \alpha_{i \to l} v_i$ 用 softmax 权重，是对前层输出的行随机混合；mHC 的 $B_l$ 被 Sinkhorn 投影到 Birkhoff polytope，是双随机 [deepseek-v4]。双随机严格更强：它额外约束了列和，即没有任何一个源可以被所有层合计过量支取。AttnRes 恰恰允许这种情况——source #0（token embedding）可以被全部 93 层各以接近 1 的权重读取 [kimi-k3]。K3 对这个方向的处理是给 key 加 RMSNorm，"防止输出幅度大的层靠幅度而非相关性抢占权重"[kimi-k3]——即用归一化压症状，而 DS-V4 用流形约束治病因。可比性上也不对等：mHC 报了 wall-time 开销 6.7%，AttnRes 只报了渐近的 $O(Ld) \to O(Nd)$，没有实测开销；而 $N \approx 8$ 这个数直接取自预印本 [57]，未在 2.8T 规模复验 [kimi-k3]。
分叉 4 — 训推一致性攻的是不同层。K3 消除数值格式差（RL 的 rollout 与 training 共用同一量化方案）[kimi-k3]；DS-V4 消除归约顺序差（放弃 split-KV / split-k，attention 与 MoE backward 全链路 bitwise 确定性）[deepseek-v4]。两者互不覆盖，且 DS-V4 的方案明显更贵。
分叉 5 — 基本无共同评测地面。K3 的公开条目集中在 ProgramBench / SWE-Marathon / BrowseComp / FrontierSWE / MCPMark-Verified / OSWorld 2.0 [kimi-k3]；DS-V4 集中在 SimpleQA-Verified / LiveCodeBench-v6 / Codeforces / Putnam / SWE-Verified / MRCR 1M / CorpusQA [deepseek-v4]。唯一近似重叠是 Terminal-Bench，而 K3 用 2.1（88.3）、DS-V4 用 2.0（67.9），版本都不同，对照的闭源基线也分别是 GPT-5.6 Sol 与 GPT-5.4。2026 年两个旗舰开源 1M 模型之间无法做任何一项直接比较——这本身是本簇最该被记录的生态事实。
K3 的 2.5× 是等 loss 下的 FLOPs 轴水平位移，无拟合形式、无指数、无残差、无置信区间，拟合区间（$10^{20}$–$10^{21}$ FLOPs，约 1.6B token）比实际训练低 3–4 个数量级 [kimi-k3]。这些 K3 的 L2 已经指出。L3 能补的是它和祖先数字的关系。
Kimi Linear 报的是 MLA $L = 2.3092\,C^{-0.0536}$ 与 KDA $L = 2.2879\,C^{-0.0527}$，1.16× compute efficiency，5 个模型尺度，并坦承超参沿用 MLA 最优值、未对 KDA 单独调参（所以 1.16× 是下界）[2510.26692]。这是同一实验室、同一年、同一条技术线上做对了的样板：给了函数形式、给了两个系数、给了拟合范围、给了偏保守的方向。K3 的 2.5× 数值大一倍，报告规格却退了一整级。
做一次粗算的预算核对（compute multiplier 未必严格可乘，且 1.16× 测于约 1B 激活规模，故仅作量级判断）：
$2.5 / 1.22 \approx 2.05$。剩下约 2× 全部落在本谱系任何一篇都没有消融过的机制上：AttnRes（$N \approx 8$ 取自外部预印本）、LatentMoE 的聚合后 RMSNorm（"consistently improves validation loss"，无表）、Per-Head Muon（"improves training stability"，无表）、以及数据配方 + 那次没公开结果的独立超参搜索。换句话说，2.5× 里可被谱系内证据支撑的部分不到四分之一。
Cooldown 阶段明确合成了长上下文数据——排列拼接多模态文档与子任务，"使嵌入任务只有跨全 1M 上下文取信息才可解"[kimi-k3]。而 L2 摘出的 Q3 与 Table 2/3 条目里没有任何 RULER / MRCR / HELMET / needle 类项目 [kimi-k3]。
对照两个方向都不利：向下，48B 的 Kimi Linear 在 128K 上给了 RULER 84.3、MRCR 29.6、HELMET-ICL 90.0、RepoQA 68.5，全部带 MLA 与 GDN-H 对照 [2510.26692]；向外，DS-V4 报 MRCR 1M 与 CorpusQA 双双超过 Gemini-3.1-Pro [deepseek-v4]。谱系在 48B / 128K 上报检索，到 2.8T / 1M 反而不报了。
这不是抽象的严谨性抱怨，因为有一条具体机制指向该处：$g_{\min} = -5$ 意味着逐通道保留因子 $\alpha > e^{-5} \approx 6.7 \times 10^{-3}$，通道不再能一步清空状态，快遗忘能力被砍掉且无消融 [kimi-k3]。而这个下界的唯一动机是让 $\Gamma$ 的倒数留在 BF16 范围内以覆盖全部 Tensor Core tile——纯 kernel 收益。于是链条是：为 kernel 改数值 → 砍掉快遗忘 → 快遗忘正是长程精确检索最需要的能力 → 而长程精确检索恰好是唯一没测的一类。三段都可核，结论未定，但这是本篇最该补的一个实验。
需要公平指出的反面：K3 保留了 24 层对全 1M 的精确 NoPE MLA 注意力，检索底座其实强于全程压缩的 DS-V4。所以正确的攻击不是"K3 检索会差"，而是——3:1 这个比例是在 ≤128K、653M–3B 激活下选定的，在 8× 上下文与约 58× 激活规模处原样沿用且未复验，而它同时决定了检索底座的厚度和 24.6 KB/token 的 KV 斜率。
Fig. 14：24 小时预算内 K3 对 AttnRes kernel 优化 +59.7%，Claude Fable 5 +57.1% [kimi-k3]。被优化的 kernel（AttnRes、KDA、DSA、MLA）正是本模型自己的架构组件，而 RL 的可验证任务清单里明确含 "kernel 优化" [kimi-k3]，报告又自陈"an early Kimi K3 checkpoint was already handling most of our kernel optimization work during late-stage development"。这句被当作能力证据陈述，同时也是一次训练-测试邻近性的披露：没有第二个模型见过 Moonshot 内部关于这四个 kernel 的工程轨迹。2.6 个百分点的领先幅度撑不起这个先验差。
K2.6 的 L2 已经建立了这类攻击的通用形式——存在性证明 $\neq$ 分布稳定性证明，2 个 case、happy path、无失败率 [kimi-k2-6]。K3 的 48 小时 nano-KPU 案例同样只有 $n = 1$、同样没有失败率或中断率。
K2.6 的论证链把 "INT4 → 约 258 GB → 单 8 卡节点 → 普惠" 列为 load-bearing step，并注明"1T 模型不普惠部署就没有开源价值"[kimi-k2-6]；其约束推导表更是以"再大必须强制多节点 → 部署生态收窄"为由明确否决了 2T、3T 底模[kimi-k2-6]。
K3 就是那个被否决的选项。即便有 MXFP4，权重仍约 1.56 TB（专家 1.45 TB + 非专家 BF16 111 GB），量级落在 32 张 96 GB 或 16 张 141 GB 卡 [kimi-k3]——相对 K2.6 的 258 GB [kimi-k2-6] 是 6.0× 的字节抬升、单节点变 2–4 节点。报告没有回应这个自家三个月前立下的判据。
雪上加霜的是：正因为部署更重，服务侧效率的举证责任更高，而 §5.4 把机制写得极详尽（含三个并发失效模式），全节没有一个命中率 / 延迟 / 吞吐测量 [kimi-k3]。同期 DS-V4 至少给了可核的工程比值（1M 下单 token FLOPs 为 V3.2 的 27%、KV 为 10%）[deepseek-v4]，K3 没有任何等价量。
K3 的 QB 是平衡指派 LP 对偶的精确坐标极小点（非迭代下降，故无 learning-rate 类超参），MoonEP 的 $E/R$ 上界在 $E=896, R=32$ 时与紧性下界精确相等 [kimi-k3]。这是本簇唯一给出可行性保证而非启发式的负载均衡方案，很硬。
但 DS-V4 在同一规模上报告：万亿参数 MoE 的 loss spike 与 MoE 层 outlier 直接相关，routing 机制放大 outlier，需要 Anticipatory Routing（用 $\theta_{t-\Delta t}$ 的 routing indices，约 20% 开销，spike 发生时自动触发）+ SwiGLU clamping 两条补丁 [deepseek-v4]。K3 的立场是"we observe no measurable residual load imbalance"。
矛盾根源候选（无法从两篇断定）：(a) QB 确实进入了不同的机制区间，把 sign-step 的残余不均衡真正消掉了，DS-V4 的 spike 是其 sqrt(softplus) + bias 路由的残余问题；(b) 两家观测窗口和 spike 判据不同；(c) K3 的断言范围被高估了——K3 的 L2 已指出直方图误差界界的是偏置误差（约 $2.5\times10^{-3}$）而非它诱导的负载误差（约 $m \cdot w \cdot \rho$，$m$ 达数百万），后者未被量化，且论文额外提出跨步 EMA 平滑"can improve load balance still further"——这句反过来承认了单步估计存在批间噪声 [kimi-k3]。
值得注意 (c) 与 DS-V4 是同向的：K3 建议的跨步 EMA，本质就是刻意使用滞后统计量，与 Anticipatory Routing 用 $\theta_{t-\Delta t}$ 的思路同源。两家比表面上更接近。这条链的下游赌注很大：QB 残余不均衡 → $E/R$ 不变式破 → 静态计算形状丢失 → 免 host 同步与零拷贝 permute 全部退化 [kimi-k3]。诱导负载误差是这条链上唯一未测量的一环，而它只需要一张实测每专家负载直方图。
K3 在 agentic 搜索与执行上大面积领先（BrowseComp 91.2、MCPMark-Verified 94.5、Swarm Bench 76.3、Deep Research Bench 90.0），但 Agent Behavior Bench 65.0 vs GPT-5.6 Sol 76.4——该项评的不是任务对错而是过程质量（工具使用行为、效率、纪律性），是 Table 3 最大的单点差距 [kimi-k3]。即"更会把任务做完，但过程不如对手规整"。
这与谱系的定性叙事张力明显：K2.6 引用 factory.ai 称模型"less likely to make coding errors or use hacks"[kimi-k2-6]。两者不构成严格矛盾（比较对象、版本、评测都不同），但可以精确地说：本谱系直到 K3 才第一次测量过程质量，而一测就测出了最大的差距。 结合 K2.6 的长程 case 只有 happy path、没有失败率，"长程自主"这条叙事线在整个谱系里始终缺少过程侧证据。
它在做什么范式转移：不是"三个信息流维度"这个分类法——那是组织方式不是发现。真正的转移只有跨篇才看得出：架构决策的仲裁者从质量变成了 kernel。
沿谱系看这条曲线很干净。K2 的架构选择由一条 controlled 的 sparsity scaling law 决定（4 个 sparsity 档位、固定激活专家数、量化 FLOPs 节省）[2507.20534]——质量论证。Kimi Linear 的 KDA 参数化由 expressivity-efficiency Pareto 决定，配 Palindrome / MQAR / Stack 合成任务 + RULER / MRCR 长上下文 + 对 GDN 与 Mamba2 的对照 [2510.26692]——仍是质量论证，效率是约束。到 K3，最有后果的那次参数化改动（下界化 log-decay）只用计算收益论证，完全没有质量收益论证，报告自己也这么写 [kimi-k3]。
DS-V4 展示同一签名：indexer 走 FP4 + Hadamard 旋转、cache 块按 lcm($m, m'$) 对齐、kernel 的对齐约束通过 co-design 的 KV cache layout 满足、放弃 split-k 换 batch invariance [deepseek-v4]。2026 年的前沿模型架构是 kernel 的函数，两家独立到达。
K3 的特殊之处在于它对此异常坦率——它明说 $g_{\min}$ 存在的理由是 BF16 范围与 Tensor Core 覆盖。这种坦率把主张变得可核（核对 4 确实核得动），却也恰好暴露了这类论证给不出的东西：kernel 收益可验证，质量代价无人测量。K3 的 L2 对此给了正确的解释——在这个规模上做消融本身就是不可承受的 [kimi-k3]。这是本簇最重要的结构性事实，不是某一家的疏漏：一旦架构决策必须在 3T 级训练启动前一次性拍板，"选错的代价是一次重训"，那么公开的架构报告在方法学上就会系统性地从"消融支撑"退化为"事后合理化"。K3 只是这个趋势最清晰的样本。
生态位的具体坐标：
kimi-k2-6：K2.6 自己预测过"K3 系列应该会是架构级 redesign……K2 系列架构已迭代 3 次全部复用同一 backbone，说明瓶颈正从架构转向 RL / 编排"[kimi-k2-6]。K3 证实了 redesign，但没有放弃 RL/编排那条线（9 专家 + MOPD + Swarm Bench 76.3），而是叠加。代价就是可攻击面 4 里的部署门槛倒退。deepseek-v4：分工清晰且互补。K3 的差异化是原生多模态（DS-V4 明确仅支持文本，多模态在开发中 [deepseek-v4]）与 agentic 执行深度；DS-V4 的差异化是可审计性——具体效率比值、完整训练超参、bitwise 确定性、以及不做无法复现的 scaling 主张。两者不在同一评测地面上，也不需要在。KDA 的定长状态是"对全部历史的学习式摘要"，强在近程与内容自适应遗忘，弱在你无法随机访问已经被忘掉的东西；HCA 的 128× 压缩条目是"粗粒度但位置可寻址的索引"，强在任意远处都还留着一个可被检索的句柄，弱在分辨率。二者失效模式正交、kernel 都已存在，却没人叠过。
一个具体形态：把 K3 的 24 层 NoPE MLA 中的一部分替换为 HCA 式层（每 128 token 一条压缩 entry，dense attend）。这直接砍 KV 斜率——一层 MLA 是 512 float/token，一层 HCA 是 4 float/token——同时保留全程可寻址性。更有意思的是，它顺带解掉 K3 §5.4 的前缀缓存难题：KDA 状态只能在稀疏边界快照，逼得物理块拉到 1024–6144 token [kimi-k3]；而压缩 entry 是位置对齐的，天然按 lcm 粒度可缓存可复用，正是 DS-V4 那侧的做法。
Fig. 7 的拟合区间是 $10^{20}$–$10^{21}$ FLOPs，约 1.6B token 的代理模型；在这个尺度上多跑 5 组消融（K2 基线 → +混合 KDA → +AttnRes → +LatentMoE 归一化 → +新数据配方），每组按 Kimi Linear 的格式报 $L = A \cdot C^{-b}$ 的 $A$ 与 $b$ [2510.26692]，成本相对 2.8T 主训练可忽略。这会把可攻击面 1 里那个约 2× 的黑箱残差直接拆开。方法论已经在同实验室同技术线上被验证过一次，缺的不是能力。
约束的完整形式是：二级 tile 长度 $T$ 下累积 log-decay 的倒数缩放因子需满足 $e^{|g_{\min}| T} < 3.39 \times 10^{38}$，即 $|g_{\min}| < 88.7 / T$。$T=16$ 给出 $|g_{\min}| < 5.54$（故取 5，余量 $e^{8.7} \approx 6.1\times10^3$，与核对 4 一致）；$T = 8$ 允许 $|g_{\min}| < 11.1$；$T = 32$ 只剩 2.77。这是一条 kernel tile 效率 vs 遗忘动态范围的 Pareto 曲线，K3 选了一个点，两个轴都没报。（注意 FP32 与 BF16 指数位宽相同，换精度不放松约束——唯一的杠杆是 $T$。）
更值得试的是逐通道的 $g_{\min}$：KDA 的衰减本来就是 per-channel 的，把下界也做成 per-channel，让一小撮通道拿到大 $|g_{\min}|$（恢复一步清空状态的能力，即长程精确检索最需要的那种通道），代价是这些通道走更小的 tile 或一条 rescale 回退路径。混合 tile 的 kernel 是可写的，而收益直指可攻击面 2 里那个未被测量的能力缺口。
SiTU-GLU 的光滑 softcap（$\beta\tanh(z/\beta) = z + O(z^3/\beta^2)$，上界 100，梯度处处非零）与 SwiGLU 的硬 clamp（$\pm 10$，超界梯度为零）是同一个干预的两种实现，截断值差 10 倍。两家都说有效、都没消融、都已经把它放在万亿参数训练的关键路径上。这是本簇性价比最高的待办实验，代理规模即可完成，且应顺带回答上界该随 $d$ 还是随专家数缩放。
QB 买到的是静态计算形状 / 零拷贝 / 免 host 同步；Anticipatory Routing 买到的是当 routing 本身成为不稳定源时的恢复能力，且它只在 spike 触发时启用（平时零开销）。把 QB 作为常态、把 spike 探测器作为兜底，是两家都没试过的组合。前置条件很便宜：先测出 QB 的诱导负载误差（一张实测每专家负载直方图即可），确认它确实可忽略——这也是可攻击面 5 里唯一缺失的一环。
MOPD 的逐 token reward 是 $\mathrm{clip}(\mathrm{sg}(\log \pi_{\text{teacher}} / \pi_\theta), \pm R_{\max})$ [kimi-k3]，其数值直接依赖 logit 的可复现性。而 partial rollout 会让一条轨迹跨迭代续跑（K3）、WAL 重做会让 prefill 重放（DS-V4）——两种机制都会改变 batch 组成。在非 batch-invariant 的 kernel 下，batch 组成变化就会改变归约顺序、改变 logit、从而改变 reward 本身。
K3 消掉了量化格式差却没有 batch invariance [deepseek-v4]，所以 K3 最精巧的后训练设计带有一条它自己没有满足的隐含前提。这不只是"两个好东西可以合并"，而是一个可被实验证伪的具体预测：在 1M partial rollout 场景下测量同一 token 在不同 batch 组成下的 $\log \pi_\theta$ 漂移，与 $R_{\max}$ 相比，就能判定这个前提是否已经在噪声里被违反。
3:1 同时决定了两件事：检索底座的厚度（24 层精确全局注意力）和 KV 斜率（24 × 512 float/token）。Kimi Linear 只在 ≤128K 上按 val PPL 选过这个比 [2510.26692]，从没在上下文长度这个轴上重扫过。合理预期是最优比随上下文长度漂移——上下文越长，定长状态的容量压力越大，精确层应该更值钱，但 KV 也更贵。一张 (比例 × 上下文长度) 的网格，纵坐标同时画检索精度与 KV 字节，会是本簇最有用的一张缺失的图。
K2 的 Fig. 5 固定 8 个激活专家、只扫池子大小 [2507.20534]，K3（16 激活）与 DS-V4（6 激活）都不在那条曲线上，而两家在这个轴上的赌注方向相反。按分叉 2 的归一化，真正的自由度其实是"每 token 激活的专家参数量"与"把它切成几份"的分离——前者三家同量级（352M / 528M / 396M），后者从 6 到 16 差 2.7 倍。在固定激活专家参数量下扫切分粒度，是这一代 MoE 唯一还没被公开测过的核心 trade-off，而它同时决定 all-to-all 的目标数、$E/R$ 冗余上界的紧度、以及量化时每个权重看到的训练信号密度。