LiteLLM (Berri AI)

LiteLLM ist ein Open-Source-KI-Gateway und LLM-Proxy, mit dem Plattformteams ihren gesamten KI-Stack – Modelle, Agenten und MCP-Server – hinter einen einzigen Schlüssel und ein einziges Login stellen können. Es spricht das OpenAI-API-Format, sodass Entwickler Modelle von OpenAI, Anthropic, Google Vertex AI, AWS Bedrock, Cloudflare und vielen mehr aufrufen können, ohne den Anwendungscode zu ändern. Neue Modelle werden ab dem ersten Tag unterstützt, und Organisationen können auch interne, feinabgestimmte oder selbst gehostete Modelle hinter demselben Gateway bereitstellen.

Die Control-Plane-Funktionen richten sich ebenso an Betrieb und Finanzen wie an die Entwicklung. Nutzung und Ausgaben werden pro Schlüssel, Nutzer, Team, Organisation, Tool und Agent über alle Anbieter hinweg verfolgt, mit harten Budgets und Rate Limits, die Anfragen am Limit stoppen. Unternehmen können jede Anfrage für die interne Verrechnung zuordnen, Modellzugriffskontrollen durchsetzen und Guardrails wie PII-Maskierung, Prompt-Injection-Erkennung und Secret-Erkennung ergänzen – alles mit unveränderlichem Audit-Log.

LiteLLM kann selbst gehostet oder als verwaltete Enterprise-Bereitstellung betrieben werden. Kostenoptimierung ist ein Kernthema: Load Balancing über Anbieter und Regionen, Routing zu den niedrigsten Kosten, Fallbacks und Modell-Aliase helfen, den Wert eines festen KI-Budgets zu maximieren. Das Projekt ist in der Entwickler-Community bekannt, mit zehntausenden GitHub-Sternen und Produktionsreferenzen bei großen Technologieunternehmen.