
Inferência de modelos abertos, rápida e com roteamento de cache quente para agentes
Inferência de modelos abertos, rápida e com roteamento de cache quente para agentes

Servidor de inferência nativo para macOS que torna LLMs locais instantâneos para agentes de código
Visitas mensais estimadas ao site
Estimativas da Similarweb para este domínio, não usuários ativos. Apenas meses com observações são exibidos; a data de coleta é separada do período medido.
Coletado em 11 de nov. de 2026

É a avaliação da nossa equipe editorial, de 0 a 5, e não uma média de notas de usuários. Os pontos de vista desta página são escritos por IA com base no que sabemos sobre o produto. Não são avaliações de clientes.
Segundo a telemetria do OpenAITools.app verificada em 2026-11-11, oMLX (omlx.ai) é uma plataforma de IA indexada em Large Language Models (LLMs) que gera 107,33 mil visitas mensais com variação de tráfego mês a mês de -40,76 mil (-27,5%). Seu principal mercado geográfico é Estados Unidos (22% de participação no tráfego) e opera com modelo de preços Grátis. As principais alternativas concorrentes por volume mensal incluem RightNow Inference (RunInfra) (18,11 mil visitas/mês), Groq (3,99 mi visitas/mês), RunPod (2,88 mi visitas/mês).
Cache KV no SSD mudou tudo para agentes de código.
Rodando perfeitamente no Mac M3.
Compatível com OpenAI e Anthropic, nota 10.
Perspectivas sintetizadas por IA com base na inspeção do site, preços e referências da categoria — não são depoimentos reais de clientes.
Cada bloco de cache KV é persistido em formato safetensors com camadas RAM/SSD e política LRU, então prefixos já vistos sobrevivem a mudanças de contexto e reinícios do servidor em vez de serem recalculados.
Serve /v1/chat/completions e um endpoint nativo /v1/messages, atuando como backend plug-and-play para Claude Code, Cursor, OpenClaw e qualquer cliente compatível com OpenAI.
Usa o BatchGenerator do mlx-lm para requisições concorrentes e mantém modelos LLM, VLM, de embeddings e rerankers em memória ao mesmo tempo, com despejo LRU.
Lida com formatos de tool calling JSON, Qwen, Gemma, GLM e MiniMax, além de ferramentas MCP e recorte de resultados de ferramentas muito grandes, configurável por modelo.
Um app de macOS assinado e notarizado com atualização automática controla o servidor, enquanto um painel web gerencia modelos, chat e métricas em tempo real.
O oMLX ataca uma frustração bem específica: agentes de código como Claude Code, Cursor e OpenClaw invalidam o cache KV repetidas vezes durante uma sessão, então servidores locais acabam recalculando prompts longos do zero e o usuário espera de 30 a 90 segundos por resposta. O oMLX persiste cada bloco de cache KV em disco no formato safetensors com um desenho de dois níveis - blocos quentes na RAM, blocos frios no SSD sob política LRU -, de modo que prefixos já vistos são restaurados em milissegundos em vez de recalculados. O projeto relata que o tempo até o primeiro token cai de dezenas de segundos para menos de cinco em contextos longos.
Em termos de recursos, é uma pilha de serviço completa e não um simples front-end de chat: batching contínuo via BatchGenerator do mlx-lm (até cerca de 4x de aceleração de geração com 8x de concorrência nos benchmarks publicados), carregamento simultâneo de modelos LLM, VLM, de embeddings e rerankers com despejo LRU, tool calling nos formatos JSON, Qwen, Gemma, GLM e MiniMax, integração de ferramentas MCP e tratamento automático de tags de raciocínio para modelos como DeepSeek, MiniMax e Qwen. Ele lê o cache padrão do Hugging Face e as pastas do LM Studio, então modelos já baixados funcionam sem novo download, e inclui um baixador integrado do Hugging Face.
A implantação é voltada a indivíduos e equipes pequenas: um app de barra de menus assinado e notarizado com painel web, ou uma instalação via pip a partir do código-fonte que exige Python 3.10+. É licenciado sob Apache 2.0 e requer Apple Silicon com macOS 15+ (mínimo de 16 GB de RAM, 64 GB ou mais recomendados para modelos maiores). Como o software é gratuito, não há assinatura: você paga apenas em hardware.
Aponte Claude Code, Cursor ou um agente similar para o oMLX em localhost, para que loops longos de agente parem de travar na invalidação de cache e tudo permaneça privado.
Mantenha prompts, código e documentos no dispositivo sem chamadas a APIs externas, continuando a usar clientes no estilo OpenAI que você já conhece.
Carregue vários modelos MLX do Hugging Face, meça a vazão de prompt e de tokens e experimente configurações de cache e batching.
Use um Mac como servidor interno expondo uma API compatível para que uma equipe pequena compartilhe os mesmos modelos locais.
Comparação de telemetria lado a lado de ferramentas de IA concorrentes na mesma categoria principal
| Classificação | Ferramenta de IA | Visitas mensais | Crescimento mensal | Participação do tráfego direto | Preços | Comparação direta |
|---|---|---|---|---|---|---|
| ● | oMLX | 107,33 mil | -27,5% | 38% direto | Grátis | Atual |
| 1 | RightNow Inference (RunInfra) | 18,11 mil | -22,6% | 43% direto | Teste gratuito, Pago, Preço sob consulta | vs RightNow Inference (RunInfra) |
| 2 | Groq | 3,99 mi | +10% | 43% direto | Pago | vs Groq |
| 3 | RunPod | 2,88 mi | +5,9% | 57% direto | Pago | vs RunPod |
| 4 | Modal | 1,2 mi | +30,2% | 71% direto | Freemium, Preço sob consulta | vs Modal |
| 5 | Lightning AI | 272,56 mil | -12,3% | 52% direto | Freemium, Pago, Preço sob consulta | vs Lightning AI |
| 6 | OrcaRouter | 975,3 mil | -5,2% | 26% direto | Freemium | vs OrcaRouter |

Inferência de modelos abertos, rápida e com roteamento de cache quente para agentes
Inferência de modelos abertos, rápida e com roteamento de cache quente para agentes

Inferência de IA ultrarrápida na plataforma LPU e LPX
RunPod is a cloud platform for AI and machine learning workloads that rents GPU compute by the second. It offers Pods for persistent GPU instances, Serverless endpoints that autoscale inference from zero, and multi-node Clusters, plus a Hub of ready-to-deploy open-source models and templates.
RunPod is a cloud platform for AI and machine learning workloads that rents GPU compute by the second. It offers Pods for persistent GPU instances, Serverless endpoints that autoscale inference from zero, and multi-node Clusters, plus a Hub of ready-to-deploy open-source models and templates.
Infraestrutura na nuvem sem servidor para cargas de IA e dados
Infraestrutura na nuvem sem servidor para cargas de IA e dados
A nuvem de IA criada pelos autores do PyTorch Lightning
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.

Together AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
Together AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
Grátis / Código abertoConstrua, execute e escale IA, de modelos abertos a agentes governados
Uma única chave de API para centenas de modelos de IA de todos os provedores
Uma única chave de API para centenas de modelos de IA de todos os provedores

Grátis / Código abertoA família de modelos de IA abertos e leves do Google
Grátis / Código abertoA família de modelos de IA abertos e leves do Google
General Compute is an inference cloud built around alternative AI silicon rather than standard GPU fleets. The company buys racks of accelerators, racks them in colocation data centres, and handles the cooling, power, and networking itself. On top of that hardware it runs a disaggregated inference stack that splits each request: prompt processing runs on NVIDIA GPUs for prefill, while token generation runs on faster decode chips such as Cerebras, SambaNova, Positron AI, and d-Matrix. Customers get bare metal access or a tokens-per-second SLA.
General Compute is an inference cloud built around alternative AI silicon rather than standard GPU fleets. The company buys racks of accelerators, racks them in colocation data centres, and handles the cooling, power, and networking itself. On top of that hardware it runs a disaggregated inference stack that splits each request: prompt processing runs on NVIDIA GPUs for prefill, while token generation runs on faster decode chips such as Cerebras, SambaNova, Positron AI, and d-Matrix. Customers get bare metal access or a tokens-per-second SLA.

Grátis / Código abertoInferência sem servidor e descentralizada para modelos de IA abertos