ClearGPT — GenAI App Engine de ClearML

ClearGPT a débuté comme plateforme GenAI d'entreprise : un moyen sécurisé pour les organisations d'héberger, déployer et gérer de grands modèles de langage dans leur propre environnement plutôt que de consommer un service d'IA tiers. Cette capacité est aujourd'hui livrée via le GenAI App Engine de ClearML, vers lequel l'adresse cleargpt.ai oriente les visiteurs. Le produit repose sur le plan de contrôle d'infrastructure de ClearML, la couche qui gère l'accès au calcul, l'usage des ressources et le réseau pour les charges de travail d'IA.

En pratique, la plateforme permet de déployer n'importe quel LLM en un clic — en connectant un modèle personnalisé ou affiné depuis Hugging Face et en le servant via des moteurs tels que vLLM, llama.cpp ou Triton — puis de l'exposer via des points d'API sécurisés avec contrôle d'accès basé sur les rôles. Le routage dynamique du trafic gère l'équilibrage de charge et les flux de données entre applications, points de terminaison et agents d'IA déployés, tandis que la montée en charge horizontale de l'inférence peut être déclenchée à la volée pour maintenir les points d'API actifs disponibles en période de pointe. La supervision couvre le volume de requêtes, la latence, l'usage mémoire et l'utilisation CPU, GPU, E/S et réseau.

L'efficacité des coûts est un thème central : la technologie de mémoire unifiée de ClearML conserve les modèles inactifs en mémoire CPU et réserve la puissance GPU aux modèles qui servent réellement du trafic, de sorte que les apps GenAI restent disponibles sans payer des GPU dédiées 24 heures sur 24. Les projets peuvent démarrer avec un calcul GPU minimal puis être transférés vers des clusters plus grands, ClearML préservant et restaurant l'état pour que la migration n'exige aucune reconstruction. La plateforme est utilisée dans des laboratoires de recherche et des secteurs comme les services financiers, la défense, les télécoms, les semi-conducteurs et le secteur public, sous licence commerciale avec un palier de démarrage gratuit.