Cognitora est une couche d'orchestration open source pour l'inférence distribuée de grands modèles de langage, écrite en Rust. Plutôt que de fournir un moteur d'inférence unique, elle réunit les moteurs que vous exploitez déjà — vLLM, SGLang, llama.cpp, Apple MLX, un pilote de lancement TRT-LLM et son propre moteur en aperçu cgn-infer — dans un seul cluster derrière une passerelle unique compatible OpenAI. Elle peut être déployée à la place d'un orchestrateur comme NVIDIA Dynamo, et le projet met en avant le support d'un plus grand nombre de moteurs, le fonctionnement en bare metal sans Kubernetes, la prise en compte de la consommation électrique dans l'ordonnancement et l'absence de plan de contrôle en Python.
Son innovation centrale est le routage conscient du KV. Le routeur note les nœuds selon le plus long recouvrement de préfixe de digests BLAKE3 chaînés, en s'appuyant sur les déclarations de cache que les agents signalent dans leurs heartbeats. Sur des exécutions réelles de llama.cpp, le routeur n'ajouterait que 0,9 à 2,0 ms au p50. Au-delà du routage, la plateforme sépare le prefill du decode sur des pools de réplicas distincts (transfert du cache KV via NixlConnector), maintient un cache KV à plusieurs niveaux RAM/SSD avec récupération QUIC entre nœuds et propose des backends de déchargement interchangeables : nixl, lmcache, hicache et kvbm.
La pile est modulaire : cgn-router pour le routage, cgn-agent pour superviser les moteurs sur chaque nœud, cgn-kvcached pour le cache à niveaux, cgn-metrics pour Prometheus et la télémétrie de puissance Redfish/NVML, cgn-ctl comme CLI d'administration, un opérateur Kubernetes optionnel et un moteur natif en aperçu. L'ordonnancement sensible à l'énergie draine les nœuds chauds, un autoscaler en boucle fermée réagit aux relevés de puissance et la découverte par gossip supprime le besoin d'etcd. Côté sécurité : mTLS optionnel, versions avec somme de contrôle SHA-256 et authentification OIDC ou par clés d'API à portée limitée. Le projet fournit six binaires statiques pour les installations systemd, des charts Helm pour Kubernetes et un tableau de bord de cluster en un seul fichier HTML affichant débit, centiles de latence, utilisation du KV et joules par token sans Grafana.
