即時アクセス可能な膨大なホスト型モデルカタログを提供しますが、セルフホスティングではなくサードパーティプラットフォームへの信頼が必要です。
すべてのトークンからより多くの成果を——LLMコストを最大30%以上削減
| 項目 / 指標 | ![]() | |
|---|---|---|
| 公式ドメイン | litellm.ai | n71.ai |
| 料金モデル | フリーミアム、料金は要問い合わせ | 有料、料金は要問い合わせ |
| 月間訪問数 | 57.7万 (576,967) | 0 (0) |
| 前月比トラフィック増減 | +4.25万 (+7.9%) |
| 0 (0%) |
| 主要市場とシェア | 🇺🇸 アメリカ合衆国 (27.9%) | 🌐 グローバル (—) |
|---|
| 月間ダイレクト訪問数 | 22.9万 | 0 |
|---|
| ユーザー評価 | 4.8 | 4.1 |
|---|
| 対応プラットフォーム | ウェブサイト | ウェブサイト |
|---|

100 以上の LLM プロバイダーをつなぐオープンソース AI ゲートウェイ
1 つのリクエスト形式で 100 以上のプロバイダー、1,800 以上のモデルを呼び出し、アプリのコードを変えずにモデルを切り替えられます。
チーム、プロジェクト、アプリごとにスコープ付きキーを発行し、月次支出上限を設定して、誰がどれだけ使っているかを可視化します。
複数のデプロイにトラフィックを分散し、失敗時にリトライし、モデルやプロバイダーの障害時には自動で別の選択肢へ切り替えます。
リクエスト数、トークン数、モデル別コストをダッシュボードで確認でき、ログや分析ツールとの連携にも対応します。
すべてのトークンからより多くの成果を——LLMコストを最大30%以上削減
アプリが既に使っているモデルAPIの背後に配置。既存のモデルクライアント、プロンプト、会話フローを維持したまま書き換え不要で導入できます。
すでに利用している複数のLLMプロバイダーに対応し、単一ベンダーやモデルファミリーに縛られません。
同社は30%以上のモデルコスト削減を報告し、自社リクエストで検証できるようドキュメントとベンチマーク手法を提供しています。
公開ベンチマークは、比較両側のモデル呼び出し、処理、検証、リトライを含めて削減額の算出方法を説明しています。
即時アクセス可能な膨大なホスト型モデルカタログを提供しますが、セルフホスティングではなくサードパーティプラットフォームへの信頼が必要です。

特化型Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
#2APIゲートウェイを通じた自動モデルフェイルオーバーと予算ガバナンスを提供しますが、オープンソースとしてのカスタマイズ性はやや劣ります。
無料・オープンソースUnsloth is an open-source toolkit for running and training large language models locally. It provides faster, more memory-efficient fine-tuning, a local chat and agent environment with browser use, image and video generation, and an OpenAI-compatible API your existing tools can connect to.

Unified LLM gateway with failover and analytics, but offers less robust open-source developer SDK support.
無料・オープンソースコーディングエージェント向けの Fast Apply とエージェント最適化推論
無料・オープンソース本番 LLM アプリのための AI ゲートウェイ、可観測性、ガードレール

管理されたマルチプロバイダーAIルーティングとコスト追跡を提供しますが、LiteLLMが持つネイティブなオープンソースの柔軟性に欠けます。

無料・オープンソース可逆なコンテキスト圧縮とスマートなモデルルーティングでAIエージェントのトークンコストを削減
無料・オープンソースLLMプロバイダーを統合するためのオープンソースの代替手段ですが、ミドルウェア統合のエコシステムはやや小規模です。
特化型Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
APIゲートウェイを通じた自動モデルフェイルオーバーと予算ガバナンスを提供しますが、オープンソースとしてのカスタマイズ性はやや劣ります。
無料・オープンソースUnsloth is an open-source toolkit for running and training large language models locally. It provides faster, more memory-efficient fine-tuning, a local chat and agent environment with browser use, image and video generation, and an OpenAI-compatible API your existing tools can connect to.