
Inferencia de modelos abiertos, rápida y con enrutamiento de caché cálida para agentes
Inferencia de modelos abiertos, rápida y con enrutamiento de caché cálida para agentes

Servidor de inferencia nativo para macOS que hace instantáneos los LLM locales para agentes de código
Visitas web mensuales estimadas
Estimaciones de Similarweb para este dominio, no usuarios activos. Solo se muestran meses con observaciones; la fecha de recopilación es distinta del periodo medido.
Recopilado el 11 nov 2026

Es la valoración de nuestro equipo editorial sobre 5, no una media de opiniones de usuarios. Los puntos de vista de esta página los redacta una IA a partir de lo que sabemos del producto. No son reseñas de clientes.
Según la telemetría de OpenAITools.app verificada el 2026-11-11, oMLX (omlx.ai) es una plataforma de IA indexada en Large Language Models (LLMs) que genera 107,33 mil visitas mensuales con una variación de tráfico intermensual de -40,76 mil (-27,5 %). Su principal mercado geográfico es Estados Unidos (22 % de cuota de tráfico), y opera con un modelo de precios Gratis. Entre las principales alternativas competidoras por volumen mensual se incluyen RightNow Inference (RunInfra) (18,11 mil visitas/mes), Groq (3,99 M visitas/mes), RunPod (2,88 M visitas/mes).
El guardado de caché en SSD es brutal para agentes locales.
Funciona de maravilla en Apple Silicon.
Compatible con APIs de OpenAI y Anthropic, una pasada.
Perspectivas sintetizadas por IA a partir de la inspección del sitio, precios y comparativas de categoría; no son testimonios individuales de clientes.
Cada bloque de caché KV se persiste en formato safetensors con niveles RAM/SSD y política LRU, así los prefijos ya vistos sobreviven a cambios de contexto y reinicios del servidor en lugar de recalcularse.
Sirve /v1/chat/completions y un endpoint nativo /v1/messages, actuando como backend intercambiable para Claude Code, Cursor, OpenClaw y cualquier cliente compatible con OpenAI.
Usa BatchGenerator de mlx-lm para peticiones concurrentes y puede mantener a la vez modelos LLM, VLM, de embeddings y rerankers con desalojo LRU.
Gestiona formatos de tool calling JSON, Qwen, Gemma, GLM y MiniMax, además de herramientas MCP y recorte de resultados de herramientas demasiado grandes, configurable por modelo.
Una app de macOS firmada y notarizada con autoactualización controla el servidor, mientras un panel web gestiona modelos, chat y métricas en tiempo real.
oMLX ataca una frustración muy concreta: agentes de código como Claude Code, Cursor y OpenClaw invalidan la caché KV repetidamente durante una sesión, así que los servidores locales acaban recalculando prompts largos desde cero y el usuario espera entre 30 y 90 segundos por respuesta. oMLX persiste cada bloque de caché KV en disco en formato safetensors con un diseño de dos niveles -bloques calientes en RAM, bloques fríos en SSD bajo política LRU-, de modo que los prefijos ya vistos se restauran en milisegundos en lugar de recalcularse. El proyecto reporta que el tiempo hasta el primer token baja de decenas de segundos a menos de cinco en contextos largos.
En cuanto a funciones, es una pila de servicio completa y no un simple front-end de chat: batching continuo mediante BatchGenerator de mlx-lm (hasta unas 4 veces más velocidad de generación con 8 veces de concurrencia en sus benchmarks publicados), carga simultánea de modelos LLM, VLM, de embeddings y rerankers con desalojo LRU, tool calling en formatos JSON, Qwen, Gemma, GLM y MiniMax, integración de herramientas MCP y manejo automático de etiquetas de razonamiento para modelos como DeepSeek, MiniMax y Qwen. Lee la caché estándar de Hugging Face y las carpetas de LM Studio, así que los modelos ya descargados funcionan sin volver a bajarlos, e incluye un descargador integrado para obtener nuevos.
El despliegue está pensado para individuos y equipos pequeños: una app de barra de menús firmada y notarizada con panel web, o una instalación desde el código fuente con pip que requiere Python 3.10+. Tiene licencia Apache 2.0 y requiere Apple Silicon con macOS 15+ (16 GB de RAM como mínimo, 64 GB o más recomendados para modelos grandes). Como el software es gratuito, no hay suscripción: solo pagas en hardware.
Apunta Claude Code, Cursor o un agente similar a oMLX en localhost para que los bucles largos de agente dejen de atascarse por la invalidación de caché y todo siga siendo privado.
Mantén prompts, código y documentos en el dispositivo sin llamadas a APIs externas y sigue usando clientes estilo OpenAI que ya conoces.
Carga varios modelos MLX desde Hugging Face, mide el rendimiento de prompt y tokens, y experimenta con ajustes de caché y batching.
Usa un Mac como servidor interno que expone una API compatible para que un equipo pequeño comparta los mismos modelos locales.
Comparación de telemetría lado a lado de herramientas de IA competidoras en la misma categoría principal
| Posición | Herramienta de IA | Visitas mensuales | Crecimiento intermensual | Cuota de tráfico directo | Precios | Comparativa directa |
|---|---|---|---|---|---|---|
| ● | oMLX | 107,33 mil | -27,5 % | 38% directo | Gratis | Actual |
| 1 | RightNow Inference (RunInfra) | 18,11 mil | -22,6 % | 43% directo | Prueba gratuita, De pago, Precio a consultar | vs RightNow Inference (RunInfra) |
| 2 | Groq | 3,99 M | +10 % | 43% directo | De pago | vs Groq |
| 3 | RunPod | 2,88 M | +5,9 % | 57% directo | De pago | vs RunPod |
| 4 | Modal | 1,2 M | +30,2 % | 71% directo | Freemium, Precio a consultar | vs Modal |
| 5 | Lightning AI | 272,56 mil | -12,3 % | 52% directo | Freemium, De pago, Precio a consultar | vs Lightning AI |
| 6 | OrcaRouter | 975,3 mil | -5,2 % | 26% directo | Freemium | vs OrcaRouter |

Inferencia de modelos abiertos, rápida y con enrutamiento de caché cálida para agentes
Inferencia de modelos abiertos, rápida y con enrutamiento de caché cálida para agentes

Inferencia de IA ultrarrápida en la plataforma LPU y LPX
RunPod is a cloud platform for AI and machine learning workloads that rents GPU compute by the second. It offers Pods for persistent GPU instances, Serverless endpoints that autoscale inference from zero, and multi-node Clusters, plus a Hub of ready-to-deploy open-source models and templates.
RunPod is a cloud platform for AI and machine learning workloads that rents GPU compute by the second. It offers Pods for persistent GPU instances, Serverless endpoints that autoscale inference from zero, and multi-node Clusters, plus a Hub of ready-to-deploy open-source models and templates.
Infraestructura cloud serverless para cargas de trabajo de IA y datos
Infraestructura cloud serverless para cargas de trabajo de IA y datos
La nube de IA creada por los autores de PyTorch Lightning
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.

Together AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
Together AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
Gratis / Código abiertoConstruye, ejecuta y escala IA, desde modelos abiertos hasta agentes gobernados
Una sola clave de API para cientos de modelos de IA de todos los proveedores
Una sola clave de API para cientos de modelos de IA de todos los proveedores

Gratis / Código abiertoLa familia de modelos de IA abiertos y ligeros de Google
Gratis / Código abiertoLa familia de modelos de IA abiertos y ligeros de Google
General Compute is an inference cloud built around alternative AI silicon rather than standard GPU fleets. The company buys racks of accelerators, racks them in colocation data centres, and handles the cooling, power, and networking itself. On top of that hardware it runs a disaggregated inference stack that splits each request: prompt processing runs on NVIDIA GPUs for prefill, while token generation runs on faster decode chips such as Cerebras, SambaNova, Positron AI, and d-Matrix. Customers get bare metal access or a tokens-per-second SLA.
General Compute is an inference cloud built around alternative AI silicon rather than standard GPU fleets. The company buys racks of accelerators, racks them in colocation data centres, and handles the cooling, power, and networking itself. On top of that hardware it runs a disaggregated inference stack that splits each request: prompt processing runs on NVIDIA GPUs for prefill, while token generation runs on faster decode chips such as Cerebras, SambaNova, Positron AI, and d-Matrix. Customers get bare metal access or a tokens-per-second SLA.

Gratis / Código abiertoInferencia sin servidor y descentralizada para modelos de IA abiertos