Kimi K3、フロンティアモデルに匹敵する2.8TパラメータMoEモデル -- 技術レポート詳細
Newsソース: x投稿者: hillbig人気度: 685公開日 2026年7月28日
Kimi K3は総パラメータ2.8T、活性パラメータ104BのMoEモデルで、検証損失同等でK2比2.5分の1の学習計算量を実現。KDA、Attention Residuals、Stable LatentMoEなどの革新技術を詳述。
- MoE
- オープンウェイト
- Kimi K3
- Attention Residuals
- Stable LatentMoE
- 技術報告
コメント
コメントするにはログイン
まだコメントはありません。最初の 1 件を投稿しましょう。