Cognitora es una capa de orquestación de código abierto para inferencia distribuida de grandes modelos de lenguaje, escrita en Rust. En lugar de ofrecer un único motor de inferencia, une los motores que ya operas —vLLM, SGLang, llama.cpp, Apple MLX, un controlador de arranque de TRT-LLM y su propio motor en vista previa cgn-infer— en un solo clúster tras una única pasarela compatible con OpenAI. Puede desplegarse en lugar de un orquestador como NVIDIA Dynamo, y el proyecto se posiciona por admitir más motores, funcionar en bare metal sin Kubernetes, incorporar el consumo eléctrico a la planificación y prescindir de un plano de control en Python.
Su innovación central es el enrutamiento consciente de KV. El enrutador puntúa los nodos por la mayor coincidencia de prefijo de digests BLAKE3 encadenados, usando las declaraciones de caché que los agentes informan en sus latidos. En ejecuciones reales de llama.cpp, el enrutador añadió entre 0,9 y 2,0 ms en p50. Más allá del enrutamiento, la plataforma separa el prefill del decode en grupos de réplicas distintos (cediendo la caché KV mediante NixlConnector), mantiene una caché KV multinivel en RAM/SSD con recuperación QUIC entre nodos y ofrece backends de descarga intercambiables como nixl, lmcache, hicache y kvbm.
El stack es modular: cgn-router para el enrutamiento, cgn-agent para supervisar los motores de cada nodo, cgn-kvcached para la caché por niveles, cgn-metrics para Prometheus y telemetría de potencia Redfish/NVML, cgn-ctl como CLI de administración, un operador de Kubernetes opcional y un motor nativo en vista previa. La planificación consciente de la energía drena nodos calientes, un autoescalador en lazo cerrado reacciona a las lecturas de potencia y el descubrimiento por gossip elimina la necesidad de etcd. En seguridad incluye mTLS opcional, versiones con suma de comprobación SHA-256 y autenticación OIDC o por claves de API con alcance. El proyecto ofrece seis binarios estáticos para instalaciones con systemd, charts de Helm para Kubernetes y un panel de clúster en un solo archivo HTML que visualiza rendimiento, percentiles de latencia, uso de KV y julios por token sin necesidad de Grafana.
