
Inférence de modèles ouverts, rapide et avec routage de cache chaud pour les agents
Inférence de modèles ouverts, rapide et avec routage de cache chaud pour les agents

Serveur d'inférence natif macOS qui rend les LLM locaux instantanés pour les agents de code
Visites web mensuelles estimées
Estimations Similarweb pour ce domaine, et non utilisateurs actifs. Seuls les mois observés sont affichés ; la date de collecte est distincte de la période mesurée.
Collecté le 11 nov. 2026

C'est l'évaluation de notre rédaction, sur 5, et non une moyenne d'avis d'utilisateurs. Les points de vue de cette page sont rédigés par une IA à partir de ce que nous savons du produit. Ce ne sont pas des avis clients.
Selon la télémétrie OpenAITools.app vérifiée le 2026-11-11, oMLX (omlx.ai) est une plateforme d'IA indexée sous Large Language Models (LLMs) générant 107,33 k visites mensuelles avec un delta de trafic mensuel de -40,76 k (-27,5 %). Son marché géographique principal est États-Unis (22 % de part de trafic), et elle fonctionne selon un modèle tarifaire Gratuit. Les principales alternatives concurrentes par volume mensuel incluent RightNow Inference (RunInfra) (18,11 k visites/mois), Groq (3,99 M visites/mois), RunPod (2,88 M visites/mois).
Le cache KV sur SSD change tout pour le code local.
Super rapide sur mon Mac M2.
Compatible OpenAI et Anthropic, parfait.
Points de vue synthétisés par IA à partir de l’inspection du site, des tarifs et du comparatif catégoriel — il ne s’agit pas d’avis clients individuels.
Chaque bloc de cache KV est persisté au format safetensors avec hiérarchisation RAM/SSD et politique LRU, de sorte que les préfixes déjà vus survivent aux changements de contexte et aux redémarrages du serveur au lieu d'être recalculés.
Sert /v1/chat/completions et un point d'accès natif /v1/messages, agissant comme backend interchangeable pour Claude Code, Cursor, OpenClaw et tout client compatible OpenAI.
Utilise le BatchGenerator de mlx-lm pour les requêtes concurrentes et peut garder en mémoire des modèles LLM, VLM, d'embedding et des rerankers simultanément, avec éviction LRU.
Gère les formats de tool calling JSON, Qwen, Gemma, GLM et MiniMax, ainsi que les outils MCP et le découpage des résultats d'outils trop volumineux, configurable par modèle.
Une app macOS signée et notariée avec mise à jour automatique contrôle le serveur, tandis qu'un tableau de bord web gère les modèles, le chat et les métriques en temps réel.
oMLX s'attaque à une frustration très précise : les agents de code comme Claude Code, Cursor et OpenClaw invalident le cache KV plusieurs fois par session, si bien que les serveurs locaux recalculent de longs prompts depuis zéro et que l'utilisateur attend 30 à 90 secondes une réponse. oMLX persiste chaque bloc de cache KV sur disque au format safetensors avec une architecture à deux niveaux - blocs chauds en RAM, blocs froids sur SSD selon une politique LRU -, de sorte que les préfixes déjà vus sont restaurés en millisecondes au lieu d'être recalculés. Le projet indique que le temps jusqu'au premier token passe de plusieurs dizaines de secondes à moins de cinq sur de longs contextes.
Sur le plan fonctionnel, il s'agit d'une pile de service complète et non d'un simple frontal de chat : batching continu via le BatchGenerator de mlx-lm (jusqu'à environ 4x d'accélération de génération à 8x de concurrence dans les benchmarks publiés), chargement simultané de modèles LLM, VLM, d'embedding et de rerankers avec éviction LRU, tool calling aux formats JSON, Qwen, Gemma, GLM et MiniMax, intégration d'outils MCP et gestion automatique des balises de raisonnement pour des modèles comme DeepSeek, MiniMax et Qwen. Il lit le cache standard de Hugging Face et les dossiers LM Studio, donc les modèles déjà téléchargés fonctionnent sans re-téléchargement, et inclut un téléchargeur Hugging Face intégré.
Le déploiement s'adresse aux particuliers et aux petites équipes : une app de barre de menus signée et notariée avec tableau de bord web, ou une installation pip depuis les sources nécessitant Python 3.10+. Sous licence Apache 2.0, il requiert Apple Silicon avec macOS 15+ (16 Go de RAM minimum, 64 Go+ recommandés pour les grands modèles). Le logiciel étant gratuit, il n'y a pas d'abonnement : vous ne payez qu'en matériel.
Pointez Claude Code, Cursor ou un agent similaire vers oMLX sur localhost pour que les longues boucles d'agent ne calent plus sur l'invalidation du cache et que tout reste privé.
Gardez prompts, code et documents sur l'appareil, sans appels d'API externes, tout en utilisant les clients de type OpenAI que vous connaissez.
Chargez plusieurs modèles MLX depuis Hugging Face, mesurez le débit de prompt et de tokens, et testez les réglages de cache et de batching.
Utilisez un Mac comme serveur interne exposant une API compatible pour qu'une petite équipe partage les mêmes modèles locaux.
Comparaison télémétrique côte à côte des outils d'IA concurrents dans la même catégorie principale
| Rang | Outil d'IA | Visites mensuelles | Croissance mensuelle | Part du trafic direct | Tarifs | Face à face |
|---|---|---|---|---|---|---|
| ● | oMLX | 107,33 k | -27,5 % | 38% direct | Gratuit | Actuel |
| 1 | RightNow Inference (RunInfra) | 18,11 k | -22,6 % | 43% direct | Essai gratuit, Payant, Tarifs sur demande | vs RightNow Inference (RunInfra) |
| 2 | Groq | 3,99 M | +10 % | 43% direct | Payant | vs Groq |
| 3 | RunPod | 2,88 M | +5,9 % | 57% direct | Payant | vs RunPod |
| 4 | Modal | 1,2 M | +30,2 % | 71% direct | Freemium, Tarifs sur demande | vs Modal |
| 5 | Lightning AI | 272,56 k | -12,3 % | 52% direct | Freemium, Payant, Tarifs sur demande | vs Lightning AI |
| 6 | OrcaRouter | 975,3 k | -5,2 % | 26% direct | Freemium | vs OrcaRouter |

Inférence de modèles ouverts, rapide et avec routage de cache chaud pour les agents
Inférence de modèles ouverts, rapide et avec routage de cache chaud pour les agents

Inférence IA ultra-rapide sur la plateforme LPU et LPX
RunPod is a cloud platform for AI and machine learning workloads that rents GPU compute by the second. It offers Pods for persistent GPU instances, Serverless endpoints that autoscale inference from zero, and multi-node Clusters, plus a Hub of ready-to-deploy open-source models and templates.
RunPod is a cloud platform for AI and machine learning workloads that rents GPU compute by the second. It offers Pods for persistent GPU instances, Serverless endpoints that autoscale inference from zero, and multi-node Clusters, plus a Hub of ready-to-deploy open-source models and templates.
Infrastructure cloud serverless pour les charges de travail IA et data
Infrastructure cloud serverless pour les charges de travail IA et data
Le cloud IA créé par les auteurs de PyTorch Lightning
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.

Together AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
Together AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
Gratuit / Open sourceConstruire, exploiter et faire évoluer l'IA, des modèles ouverts aux agents gouvernés
Une seule clé API pour des centaines de modèles IA de tous les fournisseurs
Une seule clé API pour des centaines de modèles IA de tous les fournisseurs

Gratuit / Open sourceLa famille de modèles d'IA ouverts et légers de Google
Gratuit / Open sourceLa famille de modèles d'IA ouverts et légers de Google
General Compute is an inference cloud built around alternative AI silicon rather than standard GPU fleets. The company buys racks of accelerators, racks them in colocation data centres, and handles the cooling, power, and networking itself. On top of that hardware it runs a disaggregated inference stack that splits each request: prompt processing runs on NVIDIA GPUs for prefill, while token generation runs on faster decode chips such as Cerebras, SambaNova, Positron AI, and d-Matrix. Customers get bare metal access or a tokens-per-second SLA.
General Compute is an inference cloud built around alternative AI silicon rather than standard GPU fleets. The company buys racks of accelerators, racks them in colocation data centres, and handles the cooling, power, and networking itself. On top of that hardware it runs a disaggregated inference stack that splits each request: prompt processing runs on NVIDIA GPUs for prefill, while token generation runs on faster decode chips such as Cerebras, SambaNova, Positron AI, and d-Matrix. Customers get bare metal access or a tokens-per-second SLA.

Gratuit / Open sourceInférence serverless et décentralisée pour modèles d'IA ouverts