Cognitora

Cognitora는 Rust로 작성된 대규모 언어 모델 분산 추론용 오픈소스 오케스트레이션 계층입니다. 자체 추론 엔진을 제공하는 대신, 이미 운영 중인 엔진들—vLLM, SGLang, llama.cpp, Apple MLX, TRT-LLM 스폰 드라이버, 그리고 프리뷰 버전 자체 엔진인 cgn-infer—을 하나의 클러스터로 결합해 단일 OpenAI 호환 게이트웨이 뒤에 둡니다. NVIDIA Dynamo 같은 오케스트레이터를 대체할 수 있으며, 더 많은 엔진 지원, Kubernetes 없이 베어메탈 배포, 전력 소비를 스케줄링에 반영, Python 컨트롤 플레인 부재를 차별점으로 내세웁니다.

핵심 혁신은 KV 인식 라우팅입니다. 라우터는 에이전트가 하트비트로 보고하는 캐시 선언을 활용해 연결된 BLAKE3 다이제스트의 최장 접두사 일치로 노드를 평가합니다. 실제 llama.cpp 실행에서 이 라우터는 p50 기준 약 0.9~2.0ms만 추가한 것으로 보고되었습니다. 라우팅 외에도 프리필과 디코드를 서로 다른 레플리카 풀로 분리하고(NixlConnector를 통한 KV 캐시 인계), 노드 간 QUIC 가져오기를 지원하는 RAM/SSD 다계층 KV 캐시를 유지하며, nixl, lmcache, hicache, kvbm 등 교체 가능한 오프로드 백엔드를 제공합니다.

스택은 모듈화되어 있습니다. cgn-router는 라우팅, cgn-agent는 각 노드의 엔진 감독, cgn-kvcached는 계층형 캐시, cgn-metrics는 Prometheus와 Redfish/NVML 전력 텔레메트리, cgn-ctl은 관리 CLI를 담당하며, 선택적 Kubernetes 오퍼레이터와 프리뷰 네이티브 엔진도 포함됩니다. 전력 인식 스케줄링은 과열 노드를 자동으로 드레인하고, 폐루프 오토스케일러가 전력 수치에 반응하며, gossip 기반 탐색으로 etcd 의존성을 제거합니다. 보안은 선택적 mTLS, SHA-256 체크섬 릴리스, OIDC 또는 범위 지정 API 키 인증을 지원합니다. systemd 설치용 정적 바이너리 여섯 개, Kubernetes용 Helm 차트, 그리고 Grafana 없이 처리량, 지연 백분위수, KV 활용률, 토큰당 줄을 시각화하는 단일 파일 HTML 클러스터 대시보드가 제공됩니다.