ClearGPT — GenAI App Engine von ClearML

ClearGPT startete als Enterprise-GenAI-Plattform: ein sicherer Weg für Organisationen, große Sprachmodelle in ihrer eigenen Umgebung zu hosten, bereitzustellen und zu verwalten, statt einen KI-Dienst von Drittanbietern zu nutzen. Diese Fähigkeit wird heute über ClearMLs GenAI App Engine geliefert, wohin auch die Adresse cleargpt.ai führt. Das Produkt setzt auf ClearMLs Infrastruktur-Control-Plane auf – jener Schicht, die Compute-Zugriff, Ressourcennutzung und Netzwerk für KI-Workloads verwaltet.

In der Praxis können Teams jedes LLM mit einem Klick bereitstellen: ein eigenes oder feinabgestimmtes Modell von Hugging Face einbinden und über Engines wie vLLM, llama.cpp oder Triton servieren, anschließend über sichere API-Endpunkte mit rollenbasierter Zugriffskontrolle bereitstellen. Dynamisches Traffic-Routing übernimmt Lastverteilung und Datenfluss über bereitgestellte Apps, Endpunkte und KI-Agenten hinweg, während die Inferenz-Compute bei Bedarf horizontal skaliert werden kann, um aktive Endpunkte in Spitzenzeiten verfügbar zu halten. Das Monitoring umfasst Request-Volumen, Latenz, Speichernutzung sowie CPU-, GPU-, I/O- und Netzwerkauslastung.

Kosteneffizienz ist ein zentrales Thema: ClearMLs Unified-Memory-Technologie hält inaktive Modelle im CPU-Speicher und reserviert GPU-Leistung für Modelle, die aktiv Traffic bedienen, sodass GenAI-Apps verfügbar bleiben, ohne rund um die Uhr dedizierte GPUs zu bezahlen. Projekte können mit minimaler GPU-Compute starten und später per Lift-and-Shift auf größere Cluster umziehen, wobei ClearML den Zustand speichert und wiederherstellt, sodass die Migration keinen Neuaufbau der App erfordert. Die Plattform wird in Forschungslaboren sowie in Branchen wie Finanzdienstleistungen, Verteidigung, Telekommunikation, Halbleiter und öffentlicher Sektor eingesetzt und kommerziell lizenziert, mit einer kostenlosen Einstiegsstufe.