推論エンジニアが長いコンテキストではトークン化時間が無視できないことを発見、Kimi K3 用に修正
Discussionソース: x投稿者: philipkiely人気度: 271公開日 2026年7月28日
推論エンジニアが、通常は無視できるトークン化時間が、100K~1Mトークンの入力かつプレフィックスキャッシュヒット時に無視できなくなることを指摘。Michael が Kimi K3 向けにこれを修正した。
- tokenization
- Optimization
- inference
- Kimi K3
コメント
コメントするにはログイン
まだコメントはありません。最初の 1 件を投稿しましょう。