
エージェント向けに高速提供するオープンモデル推論とウォームキャッシュルーティング
エージェント向けに高速提供するオープンモデル推論とウォームキャッシュルーティング

コーディングエージェント向けにローカル LLM を即応化するネイティブ macOS 推論サーバー
月間サイト訪問数の推計
このドメインの Similarweb 推計値であり、アクティブユーザー数ではありません。観測データのある月のみ表示し、取得日と対象月を区別しています。
取得日 2026/11/11

編集部による 5 点満点の評価です。ユーザー評価の平均ではありません。 このページの各視点は、製品情報をもとに AI がまとめたものです。実際の利用者のレビューではありません。
OpenAITools.app のテレメトリ(2026-11-11 検証)によると、oMLX(omlx.ai)は Large Language Models (LLMs) に分類される AI プラットフォームで、月間 10.73万の訪問を生み出し、前月比のトラフィック増減は -4.08万(-27.5%)です。主要な地域市場はアメリカ合衆国(トラフィックシェア 22%)で、無料の料金モデルで運営されています。月間ボリューム別の主な競合代替ツールには RightNow Inference(RunInfra)(月間 1.81万訪問)、Groq(月間 398.79万訪問)、RunPod(月間 288.1万訪問)が含まれます。
SSDへのKVキャッシュ保存がマジで神。
Apple Siliconで爆速で動く。
Claude Codeと組み合わせるのに最高。
サイト検証・料金体系・同カテゴリ比較に基づき AI が多角的な論点を要約した参考視点であり、実在ユーザーの個別投稿ではありません。
各 KV キャッシュブロックを safetensors 形式で永続化し、RAM と SSD の二層化と LRU ポリシーにより、既知のプレフィックスをコンテキスト変更やサーバー再起動後も再利用できます。
/v1/chat/completions とネイティブの /v1/messages を提供し、Claude Code、Cursor、OpenClaw など OpenAI 互換クライアントのドロップイン backend として機能します。
mlx-lm の BatchGenerator で並列リクエストを処理し、LLM・VLM・埋め込み・リランカーを同時に常駐させ、メモリ不足時は LRU で退避します。
JSON・Qwen・Gemma・GLM・MiniMax のツール呼び出し形式、MCP ツール、過大なツール結果のトリミングに対応し、モデルごとに設定できます。
署名・公証済みの macOS アプリがアプリ内自動更新とサーバー制御を担い、Web ダッシュボードでモデル管理・チャット・リアルタイム指標を確認できます。
oMLX は非常に具体的な課題に焦点を当てています。Claude Code、Cursor、OpenClaw などのコーディングエージェントはセッション中に KV キャッシュを何度も無効化するため、ローカルサーバーは長いプロンプトを毎回ゼロから再計算し、応答まで 30〜90 秒待たされます。oMLX は各 KV キャッシュブロックを safetensors 形式でディスクに永続化し、ホットブロックは RAM、コールドブロックは LRU 方式で SSD に置く二層構成を採ります。これにより既知のプレフィックスはミリ秒単位で復元され、再計算は不要になります。プロジェクトは長いコンテキストで初回トークンまでの時間が数十秒から 5 秒未満に短縮されると報告しています。
機能的には単なるチャット画面ではなく完全な配信スタックです。mlx-lm の BatchGenerator による連続バッチ処理(公表ベンチマークでは 8 倍並列時に最大約 4 倍の生成高速化)、LLM・VLM・埋め込み・リランカーの同時ロードと LRU による退避、JSON・Qwen・Gemma・GLM・MiniMax 形式のツール呼び出し、MCP ツール連携、DeepSeek・MiniMax・Qwen などの推論タグの自動処理に対応します。標準の Hugging Face キャッシュと LM Studio フォルダを読み込むため既存モデルの再ダウンロードは不要で、Hugging Face からの新規ダウンロード機能も内蔵しています。
導入は個人や小規模チーム向けです。署名・公証済みのメニューバーアプリと Web ダッシュボード、または Python 3.10+ が必要なソースからの pip インストールで利用できます。Apache 2.0 ライセンスで、Apple Silicon と macOS 15+ が必要です(最低 16GB RAM、大きめのモデルには 64GB 以上を推奨)。ソフトウェア自体は無料でサブスクリプションはなく、コストはハードウェアと電気代のみです。
Claude Code や Cursor などのエージェントを localhost の oMLX に向け、長いエージェントループがキャッシュ無効化で止まらないようにしつつ完全なプライバシーを保ちます。
プロンプトやコード、文書を端末内に留め、外部 API を呼ばずに使い慣れた OpenAI 系クライアントをそのまま利用できます。
Hugging Face から複数の MLX モデルを読み込み、プロンプトとトークンのスループットを測定し、キャッシュやバッチ設定を試せます。
1 台の Mac を内部サーバーとして互換 API を公開し、チームで同じローカルモデルを共有できます。
同じ主要カテゴリの競合 AI ツールをテレメトリで並列比較
| 順位 | AI ツール | 月間訪問数 | 前月比成長率 | 直接流入の割合 | 料金 | 直接比較 |
|---|---|---|---|---|---|---|
| ● | oMLX | 10.73万 | -27.5% | 直接流入 38% | 無料 | 表示中 |
| 1 | RightNow Inference(RunInfra) | 1.81万 | -22.6% | 直接流入 43% | 無料トライアル、有料、料金は要問い合わせ | vs RightNow Inference(RunInfra) |
| 2 | Groq | 398.79万 | +10% | 直接流入 43% | 有料 | vs Groq |
| 3 | RunPod | 288.1万 | +5.9% | 直接流入 57% | 有料 | vs RunPod |
| 4 | Modal | 119.6万 | +30.2% | 直接流入 71% | フリーミアム、料金は要問い合わせ | vs Modal |
| 5 | Lightning AI | 27.26万 | -12.3% | 直接流入 52% | フリーミアム、有料、料金は要問い合わせ | vs Lightning AI |
| 6 | OrcaRouter | 97.53万 | -5.2% | 直接流入 26% | フリーミアム | vs OrcaRouter |

エージェント向けに高速提供するオープンモデル推論とウォームキャッシュルーティング
エージェント向けに高速提供するオープンモデル推論とウォームキャッシュルーティング
PyTorch Lightning の開発チームが作った AI クラウド
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.

Together AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
Together AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
無料・オープンソースオープンモデルから統制されたエージェントまで、AI の構築・運用・拡張を一貫して

General Compute is an inference cloud built around alternative AI silicon rather than standard GPU fleets. The company buys racks of accelerators, racks them in colocation data centres, and handles the cooling, power, and networking itself. On top of that hardware it runs a disaggregated inference stack that splits each request: prompt processing runs on NVIDIA GPUs for prefill, while token generation runs on faster decode chips such as Cerebras, SambaNova, Positron AI, and d-Matrix. Customers get bare metal access or a tokens-per-second SLA.
General Compute is an inference cloud built around alternative AI silicon rather than standard GPU fleets. The company buys racks of accelerators, racks them in colocation data centres, and handles the cooling, power, and networking itself. On top of that hardware it runs a disaggregated inference stack that splits each request: prompt processing runs on NVIDIA GPUs for prefill, while token generation runs on faster decode chips such as Cerebras, SambaNova, Positron AI, and d-Matrix. Customers get bare metal access or a tokens-per-second SLA.