ClearGPT — GenAI App Engine de ClearML

ClearGPT nació como una plataforma GenAI empresarial: una forma segura de que las organizaciones alojaran, desplegaran y gestionaran grandes modelos de lenguaje dentro de su propio entorno, en lugar de consumir un servicio de IA de terceros. Esa capacidad se entrega ahora a través del GenAI App Engine de ClearML, hacia donde dirige la dirección cleargpt.ai. El producto se asienta sobre el plano de control de infraestructura de ClearML, la capa que gestiona el acceso al cómputo, el uso de recursos y la red para las cargas de trabajo de IA.

En la práctica, la plataforma permite desplegar cualquier LLM con un solo clic: conectando un modelo personalizado o ajustado desde Hugging Face y sirviéndolo mediante motores como vLLM, llama.cpp o Triton, y exponiéndolo después a través de endpoints de API seguros con control de acceso basado en roles. El enrutamiento dinámico de tráfico gestiona el balanceo de carga y el flujo de datos entre aplicaciones, endpoints y agentes de IA desplegados, mientras que el escalado horizontal de la inferencia puede activarse al vuelo para mantener disponibles los endpoints activos en momentos de máxima demanda. La monitorización cubre volumen de peticiones, latencia, uso de memoria y utilización de CPU, GPU, E/S y red.

La eficiencia de costes es un tema central: la tecnología de memoria unificada de ClearML mantiene los modelos inactivos en memoria de CPU y reserva la potencia de GPU para los que sirven tráfico activo, de modo que las apps GenAI siguen disponibles sin pagar GPU dedicadas las 24 horas. Los proyectos pueden empezar con cómputo GPU mínimo y trasladarse después a clústeres mayores, conservando y restaurando el estado para que la migración no exija reconstruir la app. La plataforma se usa en laboratorios de investigación y en sectores como servicios financieros, defensa, telecomunicaciones, semiconductores y sector público, con licencia comercial y un nivel gratuito inicial.