LiteLLM es un gateway de IA y proxy de LLM de código abierto que permite a los equipos de plataforma poner todo su stack de IA —modelos, agentes y servidores MCP— detrás de una sola clave y un solo inicio de sesión. Habla el formato de la API de OpenAI, así que los desarrolladores pueden llamar a modelos de OpenAI, Anthropic, Google Vertex AI, AWS Bedrock, Cloudflare y muchos más sin cambiar el código de la aplicación. Los nuevos modelos se admiten desde el primer día, y las organizaciones también pueden exponer sus modelos internos, ajustados o autoalojados tras el mismo gateway.
Las funciones del plano de control están orientadas tanto a operaciones y finanzas como a ingeniería. El uso y el gasto se rastrean por clave, usuario, equipo, organización, herramienta y agente en todos los proveedores, con presupuestos estrictos y rate limits que detienen las solicitudes al alcanzar el límite. Las empresas pueden atribuir cada solicitud para refacturación interna, aplicar control de acceso a modelos y añadir guardrails como enmascaramiento de PII, detección de prompt injection y de secretos, todo respaldado por un registro de auditoría inalterable.
LiteLLM puede autoalojarse o ejecutarse como despliegue empresarial gestionado. La optimización de costes es un tema central: el balanceo de carga entre proveedores y regiones, el enrutado al menor coste, los fallbacks y los alias de modelo ayudan a maximizar el valor de un presupuesto de IA fijo. El proyecto es muy conocido en la comunidad de desarrolladores, con decenas de miles de estrellas en GitHub y referencias de producción en grandes tecnológicas.
