Kimi K3 用 Attention Residuals 颠覆 Transformer 残差连接：自 ResNet 以来首次革新
资讯来源: x作者: _avichawla热度: 126发布于 2026年7月22日
Kimi K3 采用 Attention Residuals 替代传统的固定权重残差，让每层动态学习从之前各层吸收多少信息，类似注意力机制在深度上的应用。该技术已在月之暗面 48B 模型上验证，仅用 1.25 倍计算资源即可达到基线性能，推理开销低于 2%。K3 拥有 2.8T 参数，结合 Kimi Delta Attention 在百万 token 上下文中实现 6.3 倍解码加速。API 已上线，权重于 7 月 27 日开源。
- 开源模型
- Transformer
- Moonshot AI
- 深度学习
- Kimi K3
- 2.8T参数
- Attention Residuals
- 残差连接
评论
登录后即可评论
还没有评论，来发第一条吧。