為代理快速提供開源模型推論,搭配熱快取路由

網站月造訪量估算
資料為該網域的 Similarweb 流量估算,不是活躍使用者數。僅顯示有資料的統計月份;擷取時間與流量統計月份分別標示。
擷取於 2026年11月11日

這是編輯給出的評估,滿分 5 分,不是使用者評分的平均值。 本頁的各方觀點由 AI 根據產品資訊歸納,不是真實使用者的評價。
依據 OpenAITools.app 於 2026-11-11 查驗的觀測資料,oMLX(omlx.ai)是收錄於 Large Language Models (LLMs) 的 AI 平台,每月產生 10.73萬次造訪,月流量變化量為 -4.08萬(-27.5%)。其主要地理市場為美國(流量佔比 22%),並採用免費定價模式。依每月流量計算的主要競爭替代方案包括 RightNow Inference(RunInfra)(每月 1.81萬次造訪),Groq(每月 398.79萬次造訪),RunPod(每月 288.1萬次造訪)。
SSD KV 快取太神啦,跑 Claude Code 終於不卡了。
在 M 系列晶片上順暢運作。
相容 OpenAI 和 Anthropic API,極推。
以下短評基於實時網頁探查、定價機制與同類基準由 AI 綜合生成,用於呈現不同情境下的常見亮點與槽點,非實名真實用戶留言。
每個 KV 快取區塊以 safetensors 格式持久化,採記憶體/SSD 兩層架構與 LRU 策略,使看過的前綴在上下文切換甚至伺服器重啟後仍可複用。
同時提供 /v1/chat/completions 與原生 /v1/messages 端點,可作為 Claude Code、Cursor、OpenClaw 及任何 OpenAI 相容客戶端的即插即用後端。
使用 mlx-lm 的 BatchGenerator 處理併發請求,並可同時駐留 LLM、VLM、嵌入與重排序模型,記憶體不足時依 LRU 淘汰。
支援 JSON、Qwen、Gemma、GLM、MiniMax 等工具呼叫格式,以及 MCP 工具與過大工具結果的裁剪,可按模型設定。
已簽章公證的 macOS 應用支援應用內自動更新並控制伺服器,網頁儀表板可管理模型、聊天並檢視即時指標。
oMLX 針對一個非常具體的痛點:Claude Code、Cursor、OpenClaw 等程式智能體在一次工作階段中會反覆讓 KV 快取失效,導致本地伺服器必須從頭重算長提示,使用者得等 30–90 秒才有回應。oMLX 會把每個 KV 快取區塊以 safetensors 格式持久化到磁碟,採兩層架構——熱區塊留在記憶體、冷區塊依 LRU 策略寫入 SSD——因此看過的前綴可在毫秒內還原,而無需重新計算。專案表示在長上下文下首個 token 延遲從數十秒降到 5 秒以內。
功能上它是一套完整服務堆疊,而非單純的聊天前端:透過 mlx-lm 的 BatchGenerator 實現連續批次處理(官方基準中 8 倍併發下最高約 4 倍生成加速),可同時載入 LLM、VLM、嵌入與重排序模型並依 LRU 淘汰,支援 JSON、Qwen、Gemma、GLM、MiniMax 等工具呼叫格式、MCP 工具整合,以及 DeepSeek、MiniMax、Qwen 等模型推理標籤的自動處理。它會讀取標準 Hugging Face 快取與 LM Studio 目錄,已下載的模型無需重新下載,並內建 Hugging Face 下載器取得新模型。
部署面向個人與小型團隊:提供已簽章公證、附網頁儀表板的選單列應用,也可透過 pip 從原始碼安裝(需 Python 3.10+)。專案以 Apache 2.0 授權發布,要求 Apple Silicon 與 macOS 15+(最低 16GB 記憶體,執行較大模型建議 64GB 以上)。軟體本身免費,沒有訂閱費用,成本只落在硬體與電費上。
讓 Claude Code、Cursor 等智能體指向本機 localhost 上的 oMLX,使長時間智能體迴圈不再因快取失效而卡頓,並全程保持私密。
提示、程式碼與文件全部留在本機,不呼叫外部 API,同時繼續使用熟悉的 OpenAI 風格客戶端。
從 Hugging Face 載入多個 MLX 模型,測量提示與生成吞吐,並實驗快取與批次設定。
用一台 Mac 作為內部伺服器提供相容 API,讓團隊成員共用同一批本地模型。
同一分類下同類 AI 工具的流量並排比較
| 排名 | AI 工具 | 每月造訪次數 | 月增幅 | 直接流量占比 | 價格 | 正面對決 |
|---|---|---|---|---|---|---|
| ● | oMLX | 10.73萬 | -27.5% | 38% 直接流量 | 免費 | 目前產品 |
| 1 | RightNow Inference(RunInfra) | 1.81萬 | -22.6% | 43% 直接流量 | 免費試用、付費、需聯絡報價 | 對比 RightNow Inference(RunInfra) |
| 2 | Groq | 398.79萬 | +10% | 43% 直接流量 | 付費 | 對比 Groq |
| 3 | RunPod | 288.1萬 | +5.9% | 57% 直接流量 | 付費 | 對比 RunPod |
| 4 | Modal | 119.6萬 | +30.2% | 71% 直接流量 | 免費增值、需聯絡報價 | 對比 Modal |
| 5 | Lightning AI | 27.26萬 | -12.3% | 52% 直接流量 | 免費增值、付費、需聯絡報價 | 對比 Lightning AI |
| 6 | OrcaRouter | 97.53萬 | -5.2% | 26% 直接流量 | 免費增值 | 對比 OrcaRouter |
為代理快速提供開源模型推論,搭配熱快取路由
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.

Together AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
Together AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
General Compute is an inference cloud built around alternative AI silicon rather than standard GPU fleets. The company buys racks of accelerators, racks them in colocation data centres, and handles the cooling, power, and networking itself. On top of that hardware it runs a disaggregated inference stack that splits each request: prompt processing runs on NVIDIA GPUs for prefill, while token generation runs on faster decode chips such as Cerebras, SambaNova, Positron AI, and d-Matrix. Customers get bare metal access or a tokens-per-second SLA.
General Compute is an inference cloud built around alternative AI silicon rather than standard GPU fleets. The company buys racks of accelerators, racks them in colocation data centres, and handles the cooling, power, and networking itself. On top of that hardware it runs a disaggregated inference stack that splits each request: prompt processing runs on NVIDIA GPUs for prefill, while token generation runs on faster decode chips such as Cerebras, SambaNova, Positron AI, and d-Matrix. Customers get bare metal access or a tokens-per-second SLA.