O Cognitora é uma camada de orquestração de código aberto para inferência distribuída de grandes modelos de linguagem, escrita em Rust. Em vez de fornecer um único motor de inferência, reúne os motores que já opera — vLLM, SGLang, llama.cpp, Apple MLX, um driver de arranque de TRT-LLM e o seu próprio motor em pré-visualização cgn-infer — num só cluster atrás de um único gateway compatível com OpenAI. Pode ser implantado no lugar de um orquestrador como o NVIDIA Dynamo, e o projeto posiciona-se por suportar mais motores, funcionar em bare metal sem Kubernetes, incorporar o consumo elétrico no agendamento e dispensar um plano de controlo em Python.
A sua inovação central é o roteamento ciente de KV. O roteador pontua os nós pela maior sobreposição de prefixo de resumos BLAKE3 encadeados, usando as declarações de cache que os agentes reportam nos heartbeats. Em execuções reais de llama.cpp, o roteador acrescentou 0,9–2,0 ms no p50. Além do roteamento, a plataforma separa o prefill do decode em pools de réplicas distintos (entregando a cache KV via NixlConnector), mantém uma cache KV multicamada em RAM/SSD com obtenção QUIC entre nós e oferece backends de descarga substituíveis como nixl, lmcache, hicache e kvbm.
A stack é modular: cgn-router para roteamento, cgn-agent para supervisionar motores em cada nó, cgn-kvcached para a cache em camadas, cgn-metrics para Prometheus e telemetria de potência Redfish/NVML, cgn-ctl como CLI de administração, um operador de Kubernetes opcional e um motor nativo em pré-visualização. O agendamento ciente de energia drena nós quentes, um autoescalador em circuito fechado reage às leituras de potência e a descoberta por gossip elimina a necessidade de etcd. Em segurança inclui mTLS opcional, versões com soma de verificação SHA-256 e autenticação OIDC ou por chaves de API com escopo. O projeto disponibiliza seis binários estáticos para instalações com systemd, charts Helm para Kubernetes e um painel de cluster num único ficheiro HTML que mostra débito, percentis de latência, utilização de KV e joules por token sem Grafana.
