ClearGPT — ClearML 的 GenAI App Engine

ClearGPT 最初是一個企業級 GenAI 平台：讓組織能夠在自己環境內託管、部署與管理大型語言模型，而無需依賴第三方 AI 服務。該能力如今透過 ClearML 的 GenAI App Engine 交付，cleargpt.ai 位址也會引導訪客前往此處。產品建構在 ClearML 的基礎架構控制平面之上，這一層負責管理 AI 工作負載的算力存取、資源使用與網路。

在實務上，平台讓團隊可以一鍵部署任意 LLM——從 Hugging Face 接入自訂或微調模型，並經由 vLLM、llama.cpp 或 Triton 等引擎提供服務——再透過帶有角色型存取控制（RBAC）的安全 API 端點對外暴露。動態流量路由負責在已部署的應用、端點與 AI Agent 之間分配負載與資料流，而推理算力可隨需橫向擴充，確保高峰時段活躍端點仍然可用。監控涵蓋請求量、延遲、記憶體佔用，以及 CPU、GPU、I/O 與網路使用率。

成本效率是核心主題：ClearML 的統一記憶體技術把閒置模型留在 CPU 記憶體中，把 GPU 算力留給正在處理流量的模型，從而在不讓 GenAI 應用離線的前提下避免全天候佔用專用 GPU。專案可以從最少的 GPU 算力起步，之後「整體遷移」到更大的叢集，ClearML 會保存並還原狀態，使遷移無需重建應用。該平台服務研究實驗室以及金融服務、國防、電信、半導體與公共部門等行業，採用商業授權模式，並提供免費起步層級。