ClearGPT — GenAI App Engine da ClearML

O ClearGPT começou como uma plataforma GenAI empresarial: uma forma segura de as organizações alojarem, implementarem e gerirem grandes modelos de linguagem no seu próprio ambiente, em vez de consumirem um serviço de IA de terceiros. Essa capacidade é agora entregue através do GenAI App Engine da ClearML, para onde o endereço cleargpt.ai encaminha os visitantes. O produto assenta no plano de controlo de infraestrutura da ClearML, a camada que gere o acesso ao computo, o uso de recursos e a rede para cargas de trabalho de IA.

Na prática, a plataforma permite implementar qualquer LLM com um clique — ligando um modelo personalizado ou afinado a partir do Hugging Face e servindo-o através de motores como vLLM, llama.cpp ou Triton — expondo-o depois através de endpoints de API seguros com controlo de acesso baseado em funções. O encaminhamento dinâmico de tráfego trata do balanceamento de carga e do fluxo de dados entre apps, endpoints e agentes de IA implementados, enquanto o escalonamento horizontal da inferência pode ser acionado em tempo real para manter os endpoints ativos disponíveis em picos de procura. A monitorização abrange volume de pedidos, latência, uso de memória e utilização de CPU, GPU, E/S e rede.

A eficiência de custos é um tema central: a tecnologia de memória unificada da ClearML mantém os modelos inativos em memória de CPU e reserva a potência da GPU para os que servem tráfego ativo, para que as apps GenAI permaneçam disponíveis sem pagar GPUs dedicadas 24 horas por dia. Os projetos podem começar com computo de GPU mínimo e ser depois transferidos para clusters maiores, com a ClearML a preservar e restaurar o estado para que a migração não exija reconstruir a app. A plataforma é usada em laboratórios de investigação e em setores como serviços financeiros, defesa, telecomunicações, semicondutores e setor público, com licenciamento comercial e um nível gratuito de entrada.