ClearGPT — ClearML 的 GenAI App Engine

ClearGPT 最初是一个企业级 GenAI 平台：让组织能够在自己环境内托管、部署与管理大语言模型，而无需依赖第三方 AI 服务。该能力如今通过 ClearML 的 GenAI App Engine 交付，cleargpt.ai 地址也会引导访客前往此处。产品构建在 ClearML 的基础设施控制平面之上，这一层负责管理 AI 工作负载的算力访问、资源使用与网络。

在实践中，平台让团队可以一键部署任意 LLM——从 Hugging Face 接入自定义或微调模型，并经由 vLLM、llama.cpp 或 Triton 等引擎提供服务——再通过带有基于角色的访问控制（RBAC）的安全 API 端点对外暴露。动态流量路由负责在已部署的应用、端点与 AI Agent 之间分配负载与数据流，而推理算力可按需横向扩容，确保高峰时段活跃端点仍然可用。监控覆盖请求量、延迟、内存占用，以及 CPU、GPU、I/O 与网络利用率。

成本效率是核心主题：ClearML 的统一内存技术把闲置模型留在 CPU 内存中，把 GPU 算力留给正在处理流量的模型，从而在不让 GenAI 应用离线的前提下避免全天候占用专用 GPU。项目可以从最少的 GPU 算力起步，之后「整体迁移」到更大的集群，ClearML 会保存并恢复状态，使迁移无需重建应用。该平台服务于研究实验室以及金融服务、国防、电信、半导体与公共部门等行业，采用商业授权模式，并提供免费起步层级。