Kimi K3 是 Moonshot AI 发布的开源前沿大模型，拥有 2.8 万亿 总参数、1,040 亿 激活参数的混合专家（MoE）模型，原生支持视觉，上下文窗口长达 100 万 token。作为开放权重模型，Kimi K3 在多项基准测试中处于开源领先地位，性能仅次于 Claude Fable 5 和 GPT-5.6 Sol 等最强闭源模型。
核心亮点： 相比前代 Kimi K2，整体缩放效率提升约 2.5×。全量模型权重已在 Hugging Face 开放，推动前沿智能的广泛部署。
Kimi K3 的架构沿三个维度优化信息流动：序列长度（混合注意力机制）、网络深度（Attention Residuals）、模型宽度（稀疏 MoE）。
每个 block 包含 3 层 Kimi Delta Attention (KDA) + 1 层 Gated MLA（3:1 混合比）。KDA 扩展了 delta-rule 递归，引入通道级遗忘门，用固定大小的递归状态替代传统 softmax 注意力的 KV 缓存。MLA 则压缩 KV 表示为低维潜在向量，显著减少 KV 缓存占用。
KDA 关键创新： 将 log-decay 从无界负 Softplus 映射改为有界 Sigmoid（g_min = −5），使得每个 retention factor αᵗ ⩾ e⁻⁵ ≈ 6.7 × 10⁻³，累计 log-decay 在 BF16 动态范围内。这让所有 causal tiles 都能用密集 Tensor Core 矩阵乘法计算，消除 position-pair 对角路径。
每一层可以选择性地从所有前面的层中检索表示，而非均匀累积。将 L 层划分为 N=8 个 block，每个 block 约 12 层。跨 block 做完整 attention，block 内做部分求和。将通信开销从 O(Ld) 降至 O(Nd)。
分离全宽路由和潜在空间专家：共享专家保留全宽路径处理通用变换，而路由专家在 3,584 维 潜在空间中运行。共 896 个路由专家，每 token 激活 16 个（稀疏度 56×）。
三个稳定训练的关键设计：
| 参数 | Kimi K2 | Kimi K3 | 变化 |
|---|---|---|---|
| 层数 | 61 | 93 | ↑52% |
| 总参数 | 1.04T | 2.78T | ↑167% |
| 激活参数 | 32.6B | 104.2B | ↑220% |
| 路由专家数 | 384 | 896 | ↑133% |
| 每 token 激活专家 | 8 | 16 | ↑100% |
| 隐藏维度 | 7,168 | 7,168 | = |
| 注意力头数 | 64 | 96 | ↑50% |
| 训练上下文长度 | 128K | 1M | 8× |
| 注意力机制 | MLA | Hybrid KDA–MLA | — |
| 激活函数 | SwiGLU | SiTU-GLU | — |
MoonViT-V2 完全从零开始以 next-token prediction 训练（而非 SigLIP 初始化），27 层、约 4 亿 参数。图像和视频共享参数，注意力分解为帧内空间和帧间时间两个阶段。处理 3,584×3,584 像素的图像在 1M token 上下文内可行。
将 Muon 优化器的 Newton-Schulz 正交化应用到每个注意力头的投影矩阵而非整个矩阵。每个头获得独立的归一化更新，训练更稳定，计算开销略低。
数据覆盖四大文本领域——网页文本、代码、数学、知识——加大规模视觉语料（字幕、图文交错、OCR、感知、视频、视觉代码数据）。缩放律曲线显示综合效率提升约 2.5× 于 Kimi K2。
缩放律研究一致偏好转余弦衰减学习率（Cosine Decay）而非 WSD。即使各自优化超参数，cosine decay 始终达到更低的最终 loss。
KDA 的递归门控和衰减机制天然编码位置信息，无需 RoPE 调整即可直接外推到 1M token。采用四阶段课程式扩展：8K → 64K（预训练阶段） → 256K → 1M（冷却阶段）。长文档经过专门的清洗流水线处理（去重、质量过滤、结构验证），并合成长距离依赖的文档来训练注意力机制。
引入动态冗余专家，保证每个 rank 收到恰好 S × K tokens（S=序列长度，K=每 token 选择专家数）。通过在线规划冗余 expert 的迁移，实现静态计算形状和零拷贝通信。以 E/R 个冗余专家实现完美负载均衡（E=总专家数，R=rank 数）。
| 基准 | Kimi K3 | Fable 5 | GPT-5.6 Sol | Opus 4.8 |
|---|---|---|---|---|
| GPQA Diamond | 93.5% | 92.6% | 94.1% | 91.0% |
| HLE-Full | 43.5/56.0% | 53.3/63.0% | 44.5/58.0% | 49.8/57.9% |
| AA-LCR | 74.7% | 70.0% | 73.7% | 67.7% |
| 基准 | Kimi K3 | Fable 5 | GPT-5.6 Sol | Opus 4.8 |
|---|---|---|---|---|
| DeepSWE | 67.5% | 70.0% | 73.0% | 59.0% |
| ProgramBench | 77.8% 🏆 | 76.8% | 77.6% | 71.9% |
| Terminal-Bench 2.1 | 88.3% | 88.0% | 88.8% | 84.6% |
| FrontierSWE | 81.2% | 86.6% 🏆 | 71.3% | 66.7% |
| SWE-Marathon | 42.0% 🏆 | 35.0% | 39.0% | 40.0% |
| 基准 | Kimi K3 | Fable 5 | GPT-5.6 Sol | Opus 4.8 |
|---|---|---|---|---|
| BrowseComp | 91.2% 🏆 | 88.0% | 90.4% | 84.3% |
| DeepSearchQA (F1) | 95.0% 🏆 | 94.2% | — | 93.1% |
| ResearchRubrics | 76.2% 🏆 | — | 73.8% | 73.5% |
| MCPMark-Verified | 94.5% 🏆 | 87.4% | 92.9% | 76.4% |
| AutomationBench | 30.8% 🏆 | 29.1% | 29.7% | 27.2% |
| JobBench | 54.3% | 57.4% 🏆 | 45.4% | 48.4% |
| 基准 | Kimi K3 | Fable 5 | GPT-5.6 Sol | Opus 4.8 |
|---|---|---|---|---|
| OmniDocBench | 91.1% 🏆 | 89.8% | 85.8% | 87.9% |
| Video-MME (w/ sub) | 90.0% | — | 89.5% | 86.0% |
| MMVU | 82.1% | — | 81.2% | 79.2% |
| Math-Vision w/ Python | 97.8% | 98.6% 🏆 | 97.8% | 97.1% |
| CharXiv (RQ) w/ Python | 91.3% | 93.5% 🏆 | 89.1% | 89.9% |
🏆 表示该模型在该基准上排名第一。 Kimi K3 在 BrowseComp、DeepSearchQA、ResearchRubrics、MCPMark-Verified、AutomationBench、OmniDocBench 等多项基准上取得最佳成绩。在 SWE-Marathon（GPU 内核编程）上领先第二名 7 个百分点。
Kimi K3 在 24 小时内独立优化了 AttnRes、DSA、KDA、MLA 四个内核：AttnRes 延迟从 283.6ms 降至 114.4ms，DSA 和 KDA 运行时分别减少 55.1% 和 73.6%。在开发后期，早期 Kimi K3 checkpoint 已接管了大部分内核优化工作。
Kimi K3 从零开发了 MiniTriton——一个紧凑的类 Triton 编译器，含自定义 Python 前端、warp-level MLIR 优化层和 PTX 代码生成管线，并构建了配套的张量库（PyTorch 风格接口 + autograd + NCCL 分布式训练）。其 tensor-core matmul 在最大规模上接近 cuBLAS（约 90% 的机器峰值），并能端到端训练 GPT 模型，梯度差 ≤10⁻⁴。
在 Kimi Work 中，Kimi K3 制作了覆盖 42 年 AI ASIC 行业的交互式研究网站，完成 120+ 轮迭代优化，查阅 87 份季度报告。
Kimi K3 审阅了 20+ 篇论文，实现了完整数值流水线，评估 300+ 个状态方程，发现了已发表公式中的不一致性，编写 3,000+ 行 Python 代码，并生成了交互式 HTML 仪表板——仅用约 2 小时。
Kimi K3 在 580 个模型中排名 第 4（指数 57.1），仅次于 Fable 5（59.9）、GPT-5.6 Sol（58.9）、Opus 4.8（55.7）。
第 1 名（99 个模型中 Elo 1,678），超过 Claude Fable 5（1,634）和 GPT-5.6 Sol（1,630）。
在 BrowseComp 上，Kimi K3 以 91.2% 的成绩实现 $2.03/任务——GPT-5.6 Sol 的一半，Claude 模型的十分之一。在 Kimi Code Bench 2.0 上，Kimi K3 位于或接近成本效益前沿。