LiteLLM est une passerelle IA et un proxy LLM open source qui permet aux équipes plateforme de placer tout leur stack IA — modèles, agents et serveurs MCP — derrière une seule clé et une seule connexion. Il parle le format d'API d'OpenAI, ce qui permet aux développeurs d'appeler des modèles d'OpenAI, Anthropic, Google Vertex AI, AWS Bedrock, Cloudflare et bien d'autres sans modifier le code de l'application. Les nouveaux modèles sont pris en charge dès leur sortie, et les organisations peuvent aussi exposer leurs modèles internes, affinés ou auto-hébergés derrière la même passerelle.
Les fonctions du plan de contrôle s'adressent autant aux opérations et à la finance qu'à l'ingénierie. L'usage et les dépenses sont suivis par clé, utilisateur, équipe, organisation, outil et agent sur tous les fournisseurs, avec des budgets stricts et des limites de débit qui arrêtent les requêtes au plafond. Les entreprises peuvent imputer chaque requête pour la refacturation interne, appliquer un contrôle d'accès aux modèles et ajouter des garde-fous comme le masquage des données personnelles, la détection d'injection de prompt et de secrets, le tout appuyé par un journal d'audit inaltérable.
LiteLLM peut être auto-hébergé ou exploité en déploiement d'entreprise géré. L'optimisation des coûts est un thème central : équilibrage de charge entre fournisseurs et régions, routage au moindre coût, replis et alias de modèles aident à maximiser la valeur d'un budget IA fixe. Le projet est bien connu de la communauté des développeurs, avec des dizaines de milliers d'étoiles GitHub et des références en production chez de grandes entreprises technologiques.
