
为智能体快速提供开源模型推理,附带热缓存路由
为智能体快速提供开源模型推理,附带热缓存路由

网站月访问量估算
数据为该域名的 Similarweb 流量估算,不是活跃用户数。仅展示有数据的统计月份;采集时间与流量统计月份分别标注。
采集于 2026年11月11日

这是编辑给出的评估,满分 5 分,不是用户打分的平均值。 本页的各方观点由 AI 根据产品信息归纳,不是真实用户的评价。
根据 OpenAITools.app 于 2026-11-11 核对的流量数据,oMLX(omlx.ai)是一个收录在 Large Language Models (LLMs) 下的 AI 平台,月访问量为 10.73万,月度环比流量变化为 -4.08万(-27.5%)。其主要地理市场为美国(22% 流量份额),采用免费定价模式。按月流量计算的主要竞争替代方案包括 RightNow Inference(RunInfra)(1.81万次访问/月),Groq(398.79万次访问/月),RunPod(288.1万次访问/月)。
SSD KV 缓存简直是本地跑代码助手的救星,再也不用从头重算 prompt 了。
M系列芯片原生支持,速度飞起。
完美兼容 OpenAI 和 Anthropic API,配合 Claude Code 绝了。
开源之光,菜单栏管理太方便了。
以下短评基于实时网页探查、定价机制与同类产品基准由 AI 综合模拟生成,旨在呈现不同使用场景下的常见槽点与亮点,非实名真实用户评价。
每个 KV 缓存块以 safetensors 格式持久化,采用内存/SSD 两级架构与 LRU 策略,使之前见过的前缀在上下文切换甚至服务器重启后仍可复用,而无需重算。
同时提供 /v1/chat/completions 与原生 /v1/messages 接口,可作为 Claude Code、Cursor、OpenClaw 及任何 OpenAI 兼容客户端的即插即用后端。
使用 mlx-lm 的 BatchGenerator 处理并发请求,并可同时驻留 LLM、VLM、嵌入与重排序模型,内存不足时按 LRU 淘汰。
支持 JSON、Qwen、Gemma、GLM、MiniMax 等工具调用格式,以及 MCP 工具与超大工具结果的裁剪,可按模型配置。
已签名公证的 macOS 应用支持应用内自动更新并控制服务器,网页仪表盘可管理模型、聊天并查看实时指标。
oMLX 针对一个非常具体的痛点:Claude Code、Cursor、OpenClaw 等编程智能体在一次会话中会反复使 KV 缓存失效,导致本地服务器不得不从头重算长提示词,用户要等 30–90 秒才有响应。oMLX 会把每个 KV 缓存块以 safetensors 格式持久化到磁盘,采用两级架构——热块留在内存、冷块按 LRU 策略落到 SSD——这样之前见过的前缀可在毫秒级恢复,而无需重新计算。项目称在长上下文下首 token 延迟从几十秒降至 5 秒以内。
在功能上,它是一套完整的服务栈,而非简单的聊天前端:通过 mlx-lm 的 BatchGenerator 实现连续批处理(官方基准中 8 倍并发下最高约 4 倍生成加速),可同时加载 LLM、VLM、嵌入与重排序模型并按 LRU 淘汰,支持 JSON、Qwen、Gemma、GLM、MiniMax 等工具调用格式、MCP 工具集成,以及 DeepSeek、MiniMax、Qwen 等模型推理标签的自动处理。它读取标准 Hugging Face 缓存与 LM Studio 目录,已下载的模型无需重新下载,并内置 Hugging Face 下载器获取新模型。
部署面向个人与小型团队:提供已签名公证、带网页仪表盘的菜单栏应用,也可通过 pip 从源码安装(需 Python 3.10+)。项目以 Apache 2.0 许可发布,要求 Apple Silicon 与 macOS 15+(最低 16GB 内存,运行较大模型建议 64GB 以上)。软件本身免费,没有订阅费用,成本只体现在硬件与电费上。
让 Claude Code、Cursor 等智能体指向本机 localhost 上的 oMLX,使长时间智能体循环不再因缓存失效而卡顿,并全程保持私密。
提示词、代码与文档全部留在本机,不调用外部 API,同时继续使用熟悉的 OpenAI 风格客户端。
从 Hugging Face 加载多个 MLX 模型,测量提示与生成吞吐,并试验缓存与批处理配置。
用一台 Mac 作为内部服务器提供兼容 API,让小队成员共用同一批本地模型。
同一分类下同类 AI 工具的流量并排对比
| 排名 | AI 工具 | 月访问量 | 月度环比增长 | 直接流量占比 | 定价 | 头对头 |
|---|---|---|---|---|---|---|
| ● | oMLX | 10.73万 | -27.5% | 38% 直接流量 | 免费 | 当前产品 |
| 1 | RightNow Inference(RunInfra) | 1.81万 | -22.6% | 43% 直接流量 | 免费试用,付费,定价请咨询 | 对比 RightNow Inference(RunInfra) |
| 2 | Groq | 398.79万 | +10% | 43% 直接流量 | 付费 | 对比 Groq |
| 3 | RunPod | 288.1万 | +5.9% | 57% 直接流量 | 付费 | 对比 RunPod |
| 4 | Modal | 119.6万 | +30.2% | 71% 直接流量 | 免费增值,定价请咨询 | 对比 Modal |
| 5 | Lightning AI | 27.26万 | -12.3% | 52% 直接流量 | 免费增值,付费,定价请咨询 | 对比 Lightning AI |
| 6 | OrcaRouter | 97.53万 | -5.2% | 26% 直接流量 | 免费增值 | 对比 OrcaRouter |

为智能体快速提供开源模型推理,附带热缓存路由
为智能体快速提供开源模型推理,附带热缓存路由
面向 AI 与数据负载的无服务器云基础设施
由 PyTorch Lightning 创建团队打造的 AI 云平台
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.

Together AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
Together AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
General Compute is an inference cloud built around alternative AI silicon rather than standard GPU fleets. The company buys racks of accelerators, racks them in colocation data centres, and handles the cooling, power, and networking itself. On top of that hardware it runs a disaggregated inference stack that splits each request: prompt processing runs on NVIDIA GPUs for prefill, while token generation runs on faster decode chips such as Cerebras, SambaNova, Positron AI, and d-Matrix. Customers get bare metal access or a tokens-per-second SLA.
General Compute is an inference cloud built around alternative AI silicon rather than standard GPU fleets. The company buys racks of accelerators, racks them in colocation data centres, and handles the cooling, power, and networking itself. On top of that hardware it runs a disaggregated inference stack that splits each request: prompt processing runs on NVIDIA GPUs for prefill, while token generation runs on faster decode chips such as Cerebras, SambaNova, Positron AI, and d-Matrix. Customers get bare metal access or a tokens-per-second SLA.