
为智能体快速提供开源模型推理,附带热缓存路由
网站月访问量估算
数据为该域名的 Similarweb 流量估算,不是活跃用户数。仅展示有数据的统计月份;采集时间与流量统计月份分别标注。
采集于 2026年11月11日

这是编辑给出的评估,满分 5 分,不是用户打分的平均值。 本页的各方观点由 AI 根据产品信息归纳,不是真实用户的评价。
根据 OpenAITools.app 于 2026-11-11 核对的流量数据,RightNow Inference(RunInfra)(runinfra.ai)是一个收录在 AI Developer Tools 下的 AI 平台,月访问量为 1.81万,月度环比流量变化为 -5280(-22.6%)。其主要地理市场为印度(48.4% 流量份额),采用免费试用,付费,定价请咨询定价模式。按月流量计算的主要竞争替代方案包括 Groq(398.79万次访问/月),Together AI(164.59万次访问/月),DeepSeek(3.73亿次访问/月)。
带KV缓存路由的开源模型推理API,把Agent的token费用直接打下来了!
完全兼容OpenAI和Anthropic SDK,无缝切换爽歪歪。
后台控制台偶尔有点小卡,不过推理速度是真的顶。
性价比极高。
以下短评基于实时网页探查、定价机制与同类产品基准由 AI 综合模拟生成,旨在呈现不同使用场景下的常见槽点与亮点,非实名真实用户评价。
自动让同一智能体会话的重复调用落在已持有其上下文的副本上,缓存命中率可报道达约 99%,显著降低有效输入成本。
一个 API 密钥同时适用于 OpenAI 与 Anthropic SDK,现有智能体代码只需极少改动即可切换服务商。
提供带公开定价的开源模型,支持工具调用、JSON 模式、流式输出与图像输入,并公布实时输出速度与缓存指标。
缓存命中会显示在用量中并按缓存费率计费,同时公开测量方法与各模型的有效输入价格。
为 Claude Code、opencode 等 20 多种智能体提供包月套餐,设有用量窗口,达到上限后可免费待机。
运行于 runinfra.ai 的 RightNow Inference 是获得 Y Combinator 支持的推理服务商,专注于智能体工作负载的经济性。智能体往往在每一轮重复发送相同上下文,使输入 token 成为主要成本。RightNow Inference 通过会话感知路由应对:同一会话的重复调用优先落在已持有相关 KV 缓存的 GPU 副本上,因此缓存输入按远低于列表价的价格计费。
该平台以兼容 OpenAI 与 Anthropic SDK 的端点提供精选的开源模型库(包括 DeepSeek、GLM、Qwen 与 Step 系列等),现有智能体代码只需极少改动。公司公开每个模型的输出速度、缓存命中率与有效输入价格,并公开其缓存测量方法。
除计量 API 用量外,RightNow Inference 还提供每月 10 美元起的编程套餐,面向 Claude Code、opencode 等工具,用量按滚动五小时和每周窗口重置,达到上限后可选择付费额度或免费待机。该服务面向希望可控成本又不牺牲开源模型质量的团队。
在多轮之间保持上下文热度,让重复输入按缓存费率计费,对反复发送大提示词的多步智能体尤为关键。
使用兼容 OpenAI 与 Anthropic 的端点,为现有技术栈加入开源模型而无需重写 SDK 集成。
以可预测的月费和滚动用量窗口,为开发者提供常用智能体工具的编程套餐访问。
利用公开的输出速度、缓存命中与有效输入数据,在同一口径下比较各服务商。
同一分类下同类 AI 工具的流量并排对比
| 排名 | AI 工具 | 月访问量 | 月度环比增长 | 直接流量占比 | 定价 | 头对头 |
|---|---|---|---|---|---|---|
| ● | RightNow Inference(RunInfra) | 1.81万 | -22.6% | 43% 直接流量 | 免费试用,付费,定价请咨询 | 当前产品 |
| 1 | Groq | 398.79万 | +10% | 43% 直接流量 | 付费 | 对比 Groq |
| 2 | Together AI | 164.59万 | +64.9% | 54% 直接流量 | 免费增值,付费 | 对比 Together AI |
| 3 | DeepSeek | 3.73亿 | +4.3% | 78% 直接流量 | 免费增值 | 对比 DeepSeek |
| 4 | DeepInfra | 45.78万 | -8.9% | 52% 直接流量 | 付费 | 对比 DeepInfra |
| 5 | Chutes | 25.02万 | -15.2% | 75% 直接流量 | 付费 | 对比 Chutes |
| 6 | OrcaRouter | 97.53万 | -5.2% | 26% 直接流量 | 免费增值 | 对比 OrcaRouter |

Together AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
Together AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
免费 / 开源由 DeepSeek-V4 与 R1 驱动的高效开源权重与托管推理 AI,token 成本极低。
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.
高吞吐开源权重模型推理,按延迟分档定价
免费 / 开源在本地或云端运行和构建开源 AI 模型
用一个 API 快速、可预测成本地运行大语言模型与多模态模型