Le problème central que résout LLM Gateway est la dispersion des fournisseurs : des clés API séparées, des tableaux de bord séparés et du code qui casse dès que l'on change de modèle. Avec la passerelle en place, une seule requête peut être routée vers plus de 250 modèles chez plus de 40 fournisseurs, et changer de modèle revient souvent à modifier une chaîne. Elle fournit un provider AI SDK et reste compatible avec n'importe quel SDK OpenAI, cURL ou client de langage, et prend en charge les points de terminaison chat completions, responses et génération d'images.
Au-delà du routage, la passerelle est un plan de contrôle. Les équipes bénéficient d'une gestion unifiée des clés, de plafonds de dépense par clé ou par membre, d'une bascule automatique qui réessaie sur un autre fournisseur au sein de la même requête en cas d'erreur ou de limitation, et de garde-fous comme la détection d'injection de prompt et la suppression des PII pour intercepter les données sensibles avant qu'un fournisseur ne les voie. Un tableau de bord couvre requêtes, tokens, coût par 1K tokens, latence, taux d'erreur, taux de succès du cache et répartitions par modèle et par fournisseur, avec journaux d'audit et SSO en Enterprise.
Le déploiement est flexible : le fournisseur peut l'exploiter en cloud managé avec SLA, ou vous pouvez l'auto-héberger via Docker ou Kubernetes sur votre propre infrastructure, ce qui séduit les équipes soucieuses de la confidentialité. Le cœur est open source sous AGPLv3, avec des fonctions enterprise en source disponible. L'entreprise déclare être conforme SOC 2 Type II, et les tarifs commencent par un niveau gratuit apportez-vos-clés, une petite majoration sur les recharges de crédit pour l'usage à la consommation, et une offre Enterprise sur devis.