ClearGPT — ClearMLのGenAI App Engine

ClearGPTはもともとエンタープライズ向けGenAIプラットフォームとして出発しました。組織が第三者AIサービスに依存せず、自社環境内で大規模言語モデルをホスト・展開・管理するための安全な手段です。その機能は現在ClearMLのGenAI App Engineを通じて提供され、cleargpt.aiのアドレスも訪問者をそこへ導きます。製品はClearMLのインフラ制御プレーンの上に構築されており、この層がAIワークロードのコンピュートアクセス、リソース使用、ネットワークを管理します。

実際には、任意のLLMをワンクリックで展開できます。Hugging Faceからカスタムまたはファインチューニング済みモデルを接続し、vLLM、llama.cpp、Tritonなどのエンジンで配信し、ロールベースアクセス制御（RBAC）を備えた安全なAPIエンドポイントを通じて公開できます。動的トラフィックルーティングが、展開されたアプリ、エンドポイント、AIエージェント間の負荷分散とデータフローを処理し、推論コンピュートはオンザフライで水平スケールアウトできるため、ピーク時もアクティブなエンドポイントを維持できます。監視はリクエスト量、レイテンシ、メモリ使用量、そしてCPU、GPU、I/O、ネットワークの利用率をカバーします。

コスト効率が中心的なテーマです。ClearMLの統合メモリ技術はアイドル状態のモデルをCPUメモリに保持し、GPUパワーを実際にトラフィックを処理するモデルに確保するため、GenAIアプリを停止させることなく常時専用GPUを占有する必要がありません。プロジェクトは最小限のGPUコンピュートで始め、後でより大きなクラスタへ「リフトアンドシフト」でき、ClearMLが状態を保存・復元するためアプリを再構築する必要がありません。研究ラボに加え、金融サービス、防衛、通信、半導体、公共部門などの業界で利用されており、商用ライセンスと無料の開始プランが提供されています。