Millwright：Rust ベースのセルフホスト型 LLM ルーター

Launchソース: hackernews投稿者: AndrewLiu96人気度: 4公開日 2026年7月23日

Millwright は Rust で書かれた LLM ルーターで、セルフホスト可能。複数のモデルバックエンドにリクエストを柔軟に分散し、低レイテンシを実現します。