Cognitora

Cognitora は Rust で書かれた、大規模言語モデルの分散推論のためのオープンソース・オーケストレーション層です。単一の推論エンジンを提供するのではなく、すでに運用しているエンジン——vLLM、SGLang、llama.cpp、Apple MLX、TRT-LLM のスポーンドライバ、そしてプレビュー版の独自エンジン cgn-infer——を1つのクラスタにまとめ、単一の OpenAI 互換ゲートウェイの背後に置きます。NVIDIA Dynamo のようなオーケストレータの代替として利用でき、より多くのエンジンをサポートすること、Kubernetes なしでベアメタルに展開できること、電力消費をスケジューリングに織り込むこと、Python のコントロールプレーンを持たないことを差別化点としています。

中核となる革新は KV 対応ルーティングです。ルータは、エージェントがハートビートで報告するキャッシュ宣言を使い、連結された BLAKE3 ダイジェストの最長プレフィックス一致でノードを採点します。実際の llama.cpp 実行では、このルータが p50 で 0.9〜2.0 ミリ秒程度の追加にとどまったと報告されています。ルーティング以外にも、プレフィルとデコードを別々のレプリカプールに分離し（NixlConnector 経由で KV キャッシュを引き渡し）、ノード間 QUIC 取得を伴う RAM/SSD の多層 KV キャッシュを維持し、nixl、lmcache、hicache、kvbm といった差し替え可能なオフロードバックエンドを提供します。

スタックはモジュール化されています。cgn-router はルーティング、cgn-agent は各ノードでのエンジン監督、cgn-kvcached は階層キャッシュ、cgn-metrics は Prometheus と Redfish/NVML の電力テレメトリ、cgn-ctl は管理 CLI、加えて任意の Kubernetes オペレータとプレビュー版のネイティブエンジンで構成されます。電力認識スケジューリングは高温のノードを自動的にドレインし、閉ループのオートスケーラが電力値に反応し、gossip ベースの検出により etcd が不要になります。セキュリティ面では任意の mTLS、SHA-256 チェックサム付きリリース、OIDC またはスコープ付き API キー認証を備えます。systemd インストール用の6つの静的バイナリ、Kubernetes 用 Helm チャート、そして Grafana なしでスループット、レイテンシのパーセンタイル、KV 利用率、トークンあたりのジュールを可視化する単一ファイル HTML のクラスタダッシュボードが提供されます。