Das Kernproblem, das LLM Gateway löst, ist die Anbieter-Vielfalt: getrennte API-Schlüssel, getrennte Dashboards und Code, der bricht, sobald man das Modell wechselt. Mit dem Gateway lässt sich eine einzelne Anfrage an über 250 Modelle bei mehr als 40 Anbietern routen, und ein Modellwechsel ist oft nur eine geänderte Zeichenkette. Es liefert einen AI-SDK-Provider und ist mit jedem OpenAI-SDK, cURL oder Sprachclient kompatibel und unterstützt Endpunkte für Chat Completions, Responses und Bildgenerierung.
Über das Routing hinaus ist das Gateway eine Steuerungsebene. Teams erhalten einheitliche Schlüsselverwaltung, Ausgabenlimits pro API-Schlüssel oder Mitglied, automatisches Failover, das bei Fehlern oder Rate-Limits eines Anbieters innerhalb derselben Anfrage auf einen anderen Anbieter ausweicht, sowie Guardrails wie Prompt-Injection-Erkennung und PII-Schwärzung, damit sensible Daten abgefangen werden, bevor ein Anbieter sie sieht. Ein Dashboard deckt Anfragen, Tokens, Kosten pro 1K Tokens, Latenz, Fehlerraten, Cache-Trefferquoten und Aufschlüsselungen nach Modell und Anbieter ab, ergänzt um Audit-Logs und SSO in der Enterprise-Version.
Das Deployment ist flexibel: Der Anbieter kann es als Managed Cloud mit SLA betreiben, oder Sie hosten es selbst per Docker oder Kubernetes in Ihrer eigenen Infrastruktur – attraktiv für datenschutzsensible Teams. Der Kern ist Open Source unter AGPLv3, Enterprise-Funktionen sind source-available. Das Unternehmen gibt SOC-2-Type-II-Konformität an, und die Preise beginnen mit einer kostenlosen Bring-your-own-Keys-Stufe, einem kleinen Aufschlag auf Guthaben-Aufladungen für Pay-as-you-go-Nutzung und einem individuellen Enterprise-Tarif.