Feiyue Zhai
Papers
Overview
Topics
Knowledge
Graph
Tools
GitHub
Kimi-
K3
KDA 数据流演示
(Kimi Delta Attention)
配置 Config
num_heads (Hf)
12
24
48
96
head_dim (D)
hidden_size
TP size
1
2
4
conv W
tokens (T)
Nslot
执行路径 Path
Prefill
chunk_kda / flashkda 并行
Decode
fused_recurrent_kda 逐token
Fused Decode
fused_kda_decode 单CUDA核
Spec Decode
多query 投机
bf16
fp32
cache
▶ 播放
⏭ 单步
↺ 重置
速度
当前张量
—
状态缓存 State Cache
conv_state
q/k/v 三路卷积滑窗 · bf16
recurrent_state
每头一个 D×D 的 delta 状态矩阵 · fp32
参数 Params
逐头门控标量 · fp32
执行日志 Log