Kimi K3 发布：2.8T 参数 MoE 模型，性能媲美前沿模型 -- 技术报告详解
资讯来源: x作者: hillbig热度: 685发布于 2026年7月28日
Kimi K3 是一个拥有2.8T总参数、104B激活参数的MoE模型，通过架构、数据、训练方法的综合改进，在验证损失相同的情况下训练计算量仅为K2的1/2.5。报告详细介绍了KDA、Attention Residuals、Stable LatentMoE等创新。
- MoE
- オープンウェイト
- Kimi K3
- Attention Residuals
- Stable LatentMoE
- 技術報告
评论
登录后即可评论
还没有评论，来发第一条吧。