Higress

Higress es un gateway de API nativo de IA que surgió del trabajo interno de Alibaba en gateways cloud-native y ahora se gobierna como proyecto CNCF Sandbox. Se construye sobre el plano de control de Istio y el plano de datos de Envoy, heredando primitivas maduras de gestión de tráfico, seguridad y observabilidad, y añadiendo capacidades específicas de IA como la conversión unificada de protocolos para más de 100 APIs de modelos, fallback a nivel de modelo y limitación de tasa consciente de tokens.

Su idea central es «un Higress, tres tipos de tráfico de IA». Actúa como LLM Gateway para APIs de modelos, como MCP Gateway para llamadas a herramientas y traducción de protocolos, y como gateway de inferencia para cargas de trabajo de Kubernetes mediante Gateway API Inference Extension. Además del enrutamiento, cubre la privacidad de los datos de entrada al modelo, el filtrado de contenido de salida, caché exacta y semántica para reducir tokens y latencia, y el seguimiento de cuotas de tokens por consumidor.

Higress está disponible como código abierto gratuito que puedes autoalojar con un solo comando Docker, y como edición comercial totalmente gestionada en Alibaba Cloud, con un nivel serverless de pago por uso y un nivel empresarial con SLA superior, puntos de entrada dedicados y dominios personalizados. Empresas como Ctrip, la comunidad SOFA y Alibaba lo usan a gran escala para escenarios MCP y de gateway multimodelo.