
Schnelle Open-Model-Inferenz mit Warm-Cache-Routing für Agents
Schnelle Open-Model-Inferenz mit Warm-Cache-Routing für Agents

Nativer macOS-Inferenzserver, der lokale LLMs für Coding-Agenten sofort verfügbar macht
Geschätzte monatliche Website-Besuche
Similarweb-Schätzungen für diese Domain, keine aktiven Nutzer. Nur Monate mit Beobachtungen werden gezeigt; Erfassungsdatum und Messzeitraum sind getrennt.
Erfasst am 11.11.2026

Das ist die Einschätzung unserer Redaktion auf einer Skala bis 5, kein Durchschnitt von Nutzerbewertungen. Die Sichtweisen auf dieser Seite hat eine KI aus den bekannten Produktinformationen zusammengefasst. Es sind keine Kundenrezensionen.
Laut der am 2026-11-11 verifizierten Telemetrie von OpenAITools.app ist oMLX (omlx.ai) eine KI-Plattform, die unter Large Language Models (LLMs) indexiert ist und 107.331 monatliche Besuche mit einem Traffic-Delta von -40.757 (-27,5 %) gegenüber dem Vormonat generiert. Ihr primärer geografischer Markt ist Vereinigte Staaten (22 % Traffic-Anteil) und sie arbeitet mit einem Preismodell „Kostenlos“. Zu den wichtigsten konkurrierenden Alternativen nach monatlichem Volumen gehören RightNow Inference (RunInfra) (18.110 Besuche/Monat), Groq (3,99 Mio. Besuche/Monat), RunPod (2,88 Mio. Besuche/Monat).
Genial für lokale LLMs auf Apple Silicon.
SSD KV Caching rettet echt die Performance.
Endlich Claude Code mit lokalem MLX.
KI-synthetisierte Perspektiven auf Basis von Live-Prüfung, Preisstruktur und Kategorie-Benchmarks — keine echten Einzelkundenbewertungen.
Jeder KV-Cache-Block wird im safetensors-Format persistiert, mit RAM/SSD-Tiering und LRU-Policy, sodass bereits gesehene Präfixe Kontextwechsel und Serverneustarts überstehen, statt neu berechnet zu werden.
Stellt /v1/chat/completions und einen nativen /v1/messages-Endpunkt bereit und dient als Drop-in-Backend für Claude Code, Cursor, OpenClaw und jeden OpenAI-kompatiblen Client.
Nutzt den BatchGenerator von mlx-lm für parallele Anfragen und kann LLM-, VLM-, Embedding- und Reranker-Modelle gleichzeitig im Speicher halten, mit LRU-Verdrängung.
Unterstützt Tool-Calling-Formate von JSON, Qwen, Gemma, GLM und MiniMax sowie MCP-Tools und das Trimmen überlanger Tool-Ergebnisse, pro Modell konfigurierbar.
Eine signierte und notarisierte macOS-App mit Auto-Update steuert den Server, während ein Web-Dashboard Modelle, Chat und Echtzeit-Metriken verwaltet.
oMLX adressiert ein sehr konkretes Problem: Coding-Agenten wie Claude Code, Cursor und OpenClaw invalidieren den KV-Cache während einer Sitzung mehrfach, sodass lokale Server lange Prompts immer wieder von Grund auf neu berechnen und Nutzer 30-90 Sekunden auf eine Antwort warten. oMLX persistiert jeden KV-Cache-Block im safetensors-Format auf der Festplatte und nutzt eine zweistufige Architektur - heiße Blöcke im RAM, kalte Blöcke auf SSD nach LRU-Policy -, sodass bereits gesehene Präfixe in Millisekunden wiederhergestellt statt neu berechnet werden. Das Projekt berichtet, dass die Zeit bis zum ersten Token bei langen Kontexten von Dutzenden Sekunden auf unter fünf sinkt.
Funktional ist es ein vollständiger Serving-Stack und keine bloße Chat-Oberfläche: Continuous Batching über den BatchGenerator von mlx-lm (laut veröffentlichten Benchmarks bis zu etwa 4-facher Generierungsgeschwindigkeit bei 8-facher Nebenläufigkeit), gleichzeitiges Laden von LLM-, VLM-, Embedding- und Reranker-Modellen mit LRU-Verdrängung, Tool Calling in den Formaten JSON, Qwen, Gemma, GLM und MiniMax, MCP-Tool-Integration sowie automatische Behandlung von Reasoning-Tags für Modelle wie DeepSeek, MiniMax und Qwen. Es liest den Standard-Hugging-Face-Cache und LM-Studio-Ordner, sodass bereits geladene Modelle ohne erneuten Download funktionieren, und enthält einen integrierten Hugging-Face-Downloader.
Das Deployment richtet sich an Einzelpersonen und kleine Teams: eine signierte und notarisierte Menüleisten-App mit Web-Dashboard oder eine pip-Installation aus dem Quellcode mit Python 3.10+. Es steht unter der Apache-2.0-Lizenz und setzt Apple Silicon mit macOS 15+ voraus (mindestens 16 GB RAM, 64 GB+ empfohlen für größere Modelle). Da die Software selbst kostenlos ist, gibt es kein Abonnement - Sie zahlen nur in Hardware.
Richten Sie Claude Code, Cursor oder einen ähnlichen Agenten auf oMLX unter localhost, damit lange Agenten-Schleifen nicht mehr an der Cache-Invalidierung hängen bleiben und alles privat bleibt.
Prompts, Code und Dokumente bleiben auf dem Gerät, ohne externe API-Aufrufe, während vertraute OpenAI-Clients weiter genutzt werden.
Laden Sie mehrere MLX-Modelle von Hugging Face, messen Sie Prompt- und Token-Durchsatz und experimentieren Sie mit Cache- und Batching-Einstellungen.
Betreiben Sie einen Mac als internen Server mit kompatibler API, damit ein kleines Team dieselben lokal bereitgestellten Modelle nutzt.
Direkter Telemetrievergleich konkurrierender KI-Tools in derselben Hauptkategorie
| Rang | KI-Tool | Monatliche Besuche | MoM-Wachstum | Anteil direkter Zugriffe | Preise | Direktvergleich |
|---|---|---|---|---|---|---|
| ● | oMLX | 107.331 | -27,5 % | 38% direkt | Kostenlos | Aktuell |
| 1 | RightNow Inference (RunInfra) | 18.110 | -22,6 % | 43% direkt | Kostenlose Testversion, Kostenpflichtig, Preise auf Anfrage | vs RightNow Inference (RunInfra) |
| 2 | Groq | 3,99 Mio. | +10 % | 43% direkt | Kostenpflichtig | vs Groq |
| 3 | RunPod | 2,88 Mio. | +5,9 % | 57% direkt | Kostenpflichtig | vs RunPod |
| 4 | Modal | 1,2 Mio. | +30,2 % | 71% direkt | Freemium, Preise auf Anfrage | vs Modal |
| 5 | Lightning AI | 272.562 | -12,3 % | 52% direkt | Freemium, Kostenpflichtig, Preise auf Anfrage | vs Lightning AI |
| 6 | OrcaRouter | 975.300 | -5,2 % | 26% direkt | Freemium | vs OrcaRouter |

Schnelle Open-Model-Inferenz mit Warm-Cache-Routing für Agents
Schnelle Open-Model-Inferenz mit Warm-Cache-Routing für Agents

Ultraschnelle KI-Inferenz auf der LPU- und LPX-Plattform
RunPod is a cloud platform for AI and machine learning workloads that rents GPU compute by the second. It offers Pods for persistent GPU instances, Serverless endpoints that autoscale inference from zero, and multi-node Clusters, plus a Hub of ready-to-deploy open-source models and templates.
RunPod is a cloud platform for AI and machine learning workloads that rents GPU compute by the second. It offers Pods for persistent GPU instances, Serverless endpoints that autoscale inference from zero, and multi-node Clusters, plus a Hub of ready-to-deploy open-source models and templates.
Serverlose Cloud-Infrastruktur für KI- und Daten-Workloads
Serverlose Cloud-Infrastruktur für KI- und Daten-Workloads
Die AI-Cloud der Macher von PyTorch Lightning
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.

Together AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
Together AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
Kostenlos / Open SourceKI bauen, betreiben und skalieren – von offenen Modellen bis zu gouvernierten Agenten
Ein API-Schlüssel für Hunderte KI-Modelle aller Anbieter

Kostenlos / Open SourceGoogles Familie leichter Open-Weight-KI-Modelle
Kostenlos / Open SourceGoogles Familie leichter Open-Weight-KI-Modelle
General Compute is an inference cloud built around alternative AI silicon rather than standard GPU fleets. The company buys racks of accelerators, racks them in colocation data centres, and handles the cooling, power, and networking itself. On top of that hardware it runs a disaggregated inference stack that splits each request: prompt processing runs on NVIDIA GPUs for prefill, while token generation runs on faster decode chips such as Cerebras, SambaNova, Positron AI, and d-Matrix. Customers get bare metal access or a tokens-per-second SLA.
General Compute is an inference cloud built around alternative AI silicon rather than standard GPU fleets. The company buys racks of accelerators, racks them in colocation data centres, and handles the cooling, power, and networking itself. On top of that hardware it runs a disaggregated inference stack that splits each request: prompt processing runs on NVIDIA GPUs for prefill, while token generation runs on faster decode chips such as Cerebras, SambaNova, Positron AI, and d-Matrix. Customers get bare metal access or a tokens-per-second SLA.

Kostenlos / Open SourceServerless, dezentrale Inferenz für offene KI-Modelle