即時アクセス可能な膨大なホスト型モデルカタログを提供しますが、セルフホスティングではなくサードパーティプラットフォームへの信頼が必要です。

自社インフラ上で永続的 AI エージェントを実行・スケール
| 項目 / 指標 | ![]() | ![]() |
|---|---|---|
| 公式ドメイン | litellm.ai | rivet.dev |
| 料金モデル | フリーミアム、料金は要問い合わせ | フリーミアム、料金は要問い合わせ |
| 月間訪問数 | 57.7万 (576,967) | 2.14万 (21,359) |
| 前月比トラフィック増減 | +4.25万 (+7.9%) | -1.7万 (-44.3%) |
| 主要市場とシェア | 🇺🇸 アメリカ合衆国 (27.9%) | 🇺🇸 アメリカ合衆国 (39.4%) |
| 月間ダイレクト訪問数 | 22.9万 | 1.07万 |
| ユーザー評価 | 4.8 | 4.5 |
| 対応プラットフォーム | ウェブサイト | ウェブサイト |

100 以上の LLM プロバイダーをつなぐオープンソース AI ゲートウェイ
1 つのリクエスト形式で 100 以上のプロバイダー、1,800 以上のモデルを呼び出し、アプリのコードを変えずにモデルを切り替えられます。
チーム、プロジェクト、アプリごとにスコープ付きキーを発行し、月次支出上限を設定して、誰がどれだけ使っているかを可視化します。
複数のデプロイにトラフィックを分散し、失敗時にリトライし、モデルやプロバイダーの障害時には自動で別の選択肢へ切り替えます。
リクエスト数、トークン数、モデル別コストをダッシュボードで確認でき、ログや分析ツールとの連携にも対応します。

自社インフラ上で永続的 AI エージェントを実行・スケール
すべての Actor が SQLite データベースとファイルシステムを持ち、エージェントの記憶と進捗が再起動やアイドル後も別途データベースなしで保持されます。
信頼できないコードや AI 生成コードを自社インフラ上で実行し、ネットワークアクセス、ファイルシステム権限、リソース上限を細かく制御できます。
ノード障害時は Actor が状態を保ったまま別ノードへ再スケジュールされ、多段処理もクラッシュ後に自動再生されるため、チェックポイント機構の自作は不要です。
HTTP で Actor を直接指定したり WebSocket を維持でき、React SDK でコンポーネントを Actor の状態に購読させリアルタイムに更新できます。
即時アクセス可能な膨大なホスト型モデルカタログを提供しますが、セルフホスティングではなくサードパーティプラットフォームへの信頼が必要です。

特化型Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
特化型Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
APIゲートウェイを通じた自動モデルフェイルオーバーと予算ガバナンスを提供しますが、オープンソースとしてのカスタマイズ性はやや劣ります。
APIゲートウェイを通じた自動モデルフェイルオーバーと予算ガバナンスを提供しますが、オープンソースとしてのカスタマイズ性はやや劣ります。

Unified LLM gateway with failover and analytics, but offers less robust open-source developer SDK support.

無料・オープンソースMastra is an open-source TypeScript framework for building, deploying, and observing AI agents and workflows. It gives JavaScript developers typed agents, durable workflows, memory, MCP tool support, and built-in observability so prototypes can scale into production.
無料・オープンソースMastra is an open-source TypeScript framework for building, deploying, and observing AI agents and workflows. It gives JavaScript developers typed agents, durable workflows, memory, MCP tool support, and built-in observability so prototypes can scale into production.
高度なエンタープライズ向け可観測性およびガードレールツールを提供しますが、LiteLLMのような軽量なセルフホスト型プロキシのシンプルさが欠けています。

管理されたマルチプロバイダーAIルーティングとコスト追跡を提供しますが、LiteLLMが持つネイティブなオープンソースの柔軟性に欠けます。
無料・オープンソースLLMプロバイダーを統合するためのオープンソースの代替手段ですが、ミドルウェア統合のエコシステムはやや小規模です。

エンタープライズチーム向けのセルフホスト型クラウド開発環境とAIコーディングエージェント

無料・オープンソースOpen-source request routing with built-in evaluations, but has a smaller community and fewer pre-built provider connectors.