El problema central que resuelve LLM Gateway es la dispersión de proveedores: claves API separadas, paneles separados y código que se rompe cada vez que cambias de modelo. Con la pasarela en su sitio, una sola petición puede enrutarse a más de 250 modelos de más de 40 proveedores, y cambiar de modelo suele ser cuestión de modificar una cadena. Incluye un proveedor para AI SDK y es compatible con cualquier SDK de OpenAI, cURL o cliente de lenguaje, y admite endpoints de chat completions, responses y generación de imágenes.
Más allá del enrutamiento, la pasarela es un plano de control. Los equipos obtienen gestión unificada de claves, límites de gasto por clave o miembro, failover automático que reintenta en otro proveedor dentro de la misma petición cuando uno falla o aplica límite de tasa, y guardarraíles como detección de inyección de prompts y redacción de PII para interceptar datos sensibles antes de que un proveedor los vea. Un panel cubre peticiones, tokens, coste por 1K tokens, latencia, tasa de errores, tasa de aciertos de caché y desgloses por modelo y proveedor, con registros de auditoría y SSO en Enterprise.
El despliegue es flexible: el proveedor puede operarlo como nube gestionada con SLA, o puede autoalojarse con Docker o Kubernetes en tu propia infraestructura, algo atractivo para equipos sensibles a la privacidad. El núcleo es de código abierto bajo AGPLv3, con funciones enterprise de código disponible. La empresa declara cumplimiento SOC 2 Type II, y el precio empieza con un nivel gratuito de trae-tus-claves, un pequeño recargo en las recargas de crédito para uso de pago por uso, y un plan Enterprise personalizado.