Điều phối suy luận LLM phân tán mã nguồn mở cho hệ thống của riêng bạn
Lượt truy cập web hằng tháng ước tính
Ước tính của Similarweb cho tên miền này, không phải số người dùng hoạt động. Chỉ hiển thị tháng có dữ liệu; ngày thu thập khác với kỳ thống kê.
Thu thập ngày 11 thg 11, 2026
Đây là đánh giá của ban biên tập trên thang 5, không phải trung bình điểm của người dùng. Các góc nhìn trên trang này do AI tổng hợp từ thông tin về sản phẩm, không phải nhận xét của khách hàng.
Theo dữ liệu đo lường của OpenAITools.app được xác minh vào 2026-11-11, Cognitora (cognitora.dev) là nền tảng AI được lập chỉ mục trong AI Agent, tạo ra 0 lượt truy cập hàng tháng với mức thay đổi lưu lượng so với tháng trước là +0 (0.0%). Thị trường địa lý chính của nền tảng này là Toàn cầu (thị phần lưu lượng —), và nền tảng hoạt động theo mô hình giá Open Source. Các lựa chọn thay thế cạnh tranh hàng đầu theo lưu lượng hàng tháng bao gồm Higress (13,32 N lượt truy cập/tháng), FlexAI (44,31 N lượt truy cập/tháng), RunPod (2,88 Tr lượt truy cập/tháng).
Routing theo cache prefix đỉnh thực sự, tiết kiệm GPU vãi chưởng.
Cài đặt một lệnh curl là xong, quá mượt.
Góc nhìn do AI tổng hợp dựa trên kiểm tra trang thực tế, biểu phí và chuẩn danh mục — không phải lời chứng thực của từng khách hàng cá nhân.
Gửi mỗi yêu cầu đến node có bộ nhớ đệm chứa tiền tố prompt khớp dài nhất, dựa trên mức trùng tiền tố của digest BLAKE3 để tránh tính toán prefill lặp lại.
Một API tương thích OpenAI duy nhất đặt trước vLLM, SGLang, llama.cpp, Apple MLX và trình điều khiển TRT-LLM, cho phép trộn nhiều engine trong cùng một cụm.
Chạy prefill và decode trên các nhóm bản sao riêng với việc bàn giao KV qua NixlConnector, giúp mỗi pha dùng phần cứng phù hợp nhất.
Đưa số đo công suất Redfish và NVML vào điểm định tuyến, áp giới hạn watt mềm cho từng node và tự động xả các node quá nóng để giảm năng lượng trên mỗi token.
Triển khai dưới dạng sáu tệp nhị phân tĩnh chạy systemd mà không cần Kubernetes, hoặc dùng toán tử kube-rs tùy chọn với các CRD InferenceCluster, ModelPool và RoutingPolicy.
Cognitora là lớp điều phối mã nguồn mở cho suy luận phân tán các mô hình ngôn ngữ lớn, viết bằng Rust. Thay vì cung cấp một engine suy luận duy nhất, nó gom các engine bạn đang chạy — vLLM, SGLang, llama.cpp, Apple MLX, trình điều khiển khởi tạo TRT-LLM và engine xem trước cgn-infer của chính dự án — vào một cụm duy nhất sau một cổng tương thích OpenAI. Bạn có thể triển khai nó thay cho một bộ điều phối như NVIDIA Dynamo, và dự án định vị mình ở việc hỗ trợ nhiều engine hơn, chạy trên bare metal không cần Kubernetes, đưa mức tiêu thụ điện vào lập lịch và không dùng bảng điều khiển bằng Python.
Đổi mới cốt lõi là định tuyến nhận biết KV. Bộ định tuyến chấm điểm node theo mức trùng tiền tố dài nhất của các digest BLAKE3 nối chuỗi, dựa trên khai báo bộ nhớ đệm mà các agent báo cáo qua nhịp tim. Trong các lần chạy llama.cpp thực tế, bộ định tuyến được báo cáo chỉ thêm 0,9–2,0 ms ở p50. Ngoài định tuyến, nền tảng còn tách prefill và decode sang các nhóm bản sao riêng (bàn giao bộ nhớ đệm KV qua NixlConnector), duy trì bộ nhớ đệm KV nhiều tầng RAM/SSD với truy xuất QUIC giữa các node, và cung cấp các backend đẩy tải có thể thay thế như nixl, lmcache, hicache và kvbm.
Toàn bộ ngăn xếp có tính mô-đun: cgn-router định tuyến, cgn-agent giám sát engine trên mỗi node, cgn-kvcached quản lý bộ nhớ đệm phân tầng, cgn-metrics tổng hợp Prometheus cùng dữ liệu điện năng Redfish/NVML, cgn-ctl là CLI quản trị, kèm toán tử Kubernetes tùy chọn và engine gốc dạng xem trước. Lập lịch nhận biết năng lượng sẽ tự động xả các node quá nóng, bộ tự động mở rộng vòng kín phản ứng với số đo công suất, và khám phá dựa trên gossip loại bỏ nhu cầu dùng etcd. Về bảo mật có mTLS tùy chọn, bản phát hành kèm kiểm tra SHA-256, và xác thực OIDC hoặc khóa API theo phạm vi. Dự án cung cấp sáu tệp nhị phân tĩnh cho cài đặt systemd, biểu đồ Helm cho Kubernetes, và bảng điều khiển cụm dạng một tệp HTML hiển thị thông lượng, phân vị độ trễ, mức dùng KV và joule trên mỗi token mà không cần Grafana.
Đặt một điểm cuối tương thích OpenAI duy nhất trước các node vLLM, llama.cpp và MLX để ứng dụng không còn phải quan tâm engine nào phục vụ mô hình.
Dùng định tuyến nhận biết KV và bộ nhớ đệm nhiều tầng để không prefill lại cùng prompt trên nhiều node, từ đó tăng thông lượng trên phần cứng hiện có.
Bắt đầu với vài máy DGX Spark, máy AMD hoặc Mac Studio dùng systemd và tệp nhị phân tĩnh, rồi thêm liên kết QUIC khi vượt quá một tủ rack.
Áp dụng tiếp nhận và tự mở rộng nhận biết công suất để các node bận nhường tải, giúp hệ thống chạy gần điểm hiệu quả tối ưu.
So sánh dữ liệu đo lường song song giữa các công cụ AI cạnh tranh trong cùng danh mục chính
| Hạng | Công cụ AI | Lượt truy cập hàng tháng | Tăng trưởng theo tháng | Tỷ trọng truy cập trực tiếp | Giá | So sánh trực tiếp |
|---|---|---|---|---|---|---|
| ● | Cognitora | 0 | — | — | Open Source | Hiện tại |
| 1 | Higress | 13,32 N | -17,9% | 39% trực tiếp | Liên hệ để biết giá | vs Higress |
| 2 | FlexAI | 44,31 N | +17,9% | 37% trực tiếp | Freemium, Trả phí, Liên hệ để biết giá | vs FlexAI |
| 3 | RunPod | 2,88 Tr | +5,9% | 57% trực tiếp | Trả phí | vs RunPod |
| 4 | Salad | 713,52 N | +10,4% | 62% trực tiếp | Dùng thử miễn phí, Trả phí, Liên hệ để biết giá | vs Salad |
| 5 | boat | 66,87 N | +520,8% | 56% trực tiếp | Dùng thử miễn phí, Trả phí | vs boat |
| 6 | Browser Use | 1,21 Tr | +41,1% | 52% trực tiếp | Freemium, Trả phí, Liên hệ để biết giá | vs Browser Use |
Miễn phí / Mã nguồn mởCổng AI mã nguồn mở cho API LLM, tác tử và máy chủ MCP
Miễn phí / Mã nguồn mởXây dựng, vận hành và mở rộng AI, từ mô hình mở đến tác nhân được quản trị
RunPod is a cloud platform for AI and machine learning workloads that rents GPU compute by the second. It offers Pods for persistent GPU instances, Serverless endpoints that autoscale inference from zero, and multi-node Clusters, plus a Hub of ready-to-deploy open-source models and templates.
RunPod is a cloud platform for AI and machine learning workloads that rents GPU compute by the second. It offers Pods for persistent GPU instances, Serverless endpoints that autoscale inference from zero, and multi-node Clusters, plus a Hub of ready-to-deploy open-source models and templates.
Miễn phí / Mã nguồn mởĐám mây GPU phân tán điều phối các GPU tiêu dùng nhàn rỗi trên toàn cầu
Miễn phí / Mã nguồn mởĐám mây GPU phân tán điều phối các GPU tiêu dùng nhàn rỗi trên toàn cầu
Miễn phí / Mã nguồn mởVM Ubuntu đám mây lâu dài dành cho nhà máy tác nhân AI
Miễn phí / Mã nguồn mởAI agent trình duyệt và trình duyệt đám mây tàng hình
Miễn phí / Mã nguồn mởAI agent trình duyệt và trình duyệt đám mây tàng hình
Miễn phí / Mã nguồn mởRivet is open-source infrastructure for running and scaling AI agents as "Actors" — durable, stateful compute units that live inside your own Node.js or Bun backend. Each Actor keeps persistent state, a filesystem, and a SQLite database, so agents survive restarts, share state, and run code written at runtime without a redeploy. Rivet ships as a single stateless Rust binary and can be self-hosted, run in your VPC, or used through a managed cloud.
Miễn phí / Mã nguồn mởRivet is open-source infrastructure for running and scaling AI agents as "Actors" — durable, stateful compute units that live inside your own Node.js or Bun backend. Each Actor keeps persistent state, a filesystem, and a SQLite database, so agents survive restarts, share state, and run code written at runtime without a redeploy. Rivet ships as a single stateless Rust binary and can be self-hosted, run in your VPC, or used through a managed cloud.
Miễn phí / Mã nguồn mởMôi trường phát triển đám mây tự lưu trữ và tác nhân lập trình AI cho doanh nghiệp
Miễn phí / Mã nguồn mởTogether AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
Miễn phí / Mã nguồn mởTogether AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
Miễn phí / Mã nguồn mởHạ tầng đám mây serverless cho khối lượng công việc AI và dữ liệu
Miễn phí / Mã nguồn mởHạ tầng đám mây serverless cho khối lượng công việc AI và dữ liệu
Miễn phí / Mã nguồn mởHạ tầng cloud thuần agent, để agent lập trình vận hành toàn bộ backend
Nebius is an AI-focused cloud platform that gives teams non-virtualized NVIDIA GPU clusters, managed MLOps tooling, and a serverless inference layer so they can move from experiment to production on one stack.
Nebius is an AI-focused cloud platform that gives teams non-virtualized NVIDIA GPU clusters, managed MLOps tooling, and a serverless inference layer so they can move from experiment to production on one stack.
