O LiteLLM é um gateway de IA e proxy de LLM de código aberto que permite às equipas de plataforma colocar todo o seu stack de IA — modelos, agentes e servidores MCP — atrás de uma única chave e de um único início de sessão. Fala o formato da API da OpenAI, por isso os programadores podem chamar modelos da OpenAI, Anthropic, Google Vertex AI, AWS Bedrock, Cloudflare e muitos outros sem alterar o código da aplicação. Os novos modelos são suportados desde o primeiro dia, e as organizações também podem expor modelos internos, afinados ou autoalojados atrás do mesmo gateway.
As funcionalidades do plano de controlo destinam-se tanto às operações e finanças como à engenharia. O uso e o gasto são monitorizados por chave, utilizador, equipa, organização, ferramenta e agente em todos os fornecedores, com orçamentos rígidos e limites de taxa que interrompem os pedidos ao atingir o limite. As empresas podem atribuir cada pedido para reembolso interno, aplicar controlo de acesso a modelos e acrescentar guardrails como mascaramento de PII, deteção de prompt injection e de segredos, tudo apoiado por um registo de auditoria imutável.
O LiteLLM pode ser autoalojado ou executado como implementação empresarial gerida. A otimização de custos é um tema central: o balanceamento de carga entre fornecedores e regiões, o encaminhamento de menor custo, os fallbacks e os aliases de modelo ajudam a maximizar o valor de um orçamento de IA fixo. O projeto é muito conhecido na comunidade de programadores, com dezenas de milhares de estrelas no GitHub e referências de produção em grandes empresas tecnológicas.
