特化型DeepSeek-V4 と R1 を中核とし、極めて低いトークンコストで提供される高効率なオープンウェイト/ホスト型推論 AI。
Groq は月間 3,987,936 訪問、前月比成長率 +10%、料金体系有料を記録しています。LiteLLM は月間 576,967 訪問、成長率 +7.9%、料金体系フリーミアム、料金は要問い合わせを記録しています。

100 以上の LLM プロバイダーをつなぐオープンソース AI ゲートウェイ
| 項目 / 指標 | ![]() | ![]() |
|---|---|---|
| 公式ドメイン | groq.com | litellm.ai |
| 料金モデル | 有料 | フリーミアム、料金は要問い合わせ |
| 月間訪問数 | 398.79万 (3,987,936) | 57.7万 (576,967) |
| 前月比トラフィック増減 | +36.27万 (+10%) | +4.25万 (+7.9%) |
| 主要市場とシェア | 🇮🇳 インド (19.3%) | 🇺🇸 アメリカ合衆国 (27.9%) |
| 月間ダイレクト訪問数 | 170.25万 | 22.9万 |
| ユーザー評価 | 4.7 | 4.8 |
| 対応プラットフォーム | ウェブサイト | ウェブサイト |

LPUとLPXによる超高速AI推論
学習ではなく推論に特化して設計され、極低遅延に最適化された独自アクセラレータ。
Llama、Mixtral、Gemmaなどの人気オープンモデルとWhisper音声モデルをホスト。
一般的なOpenAI形式のリクエストと広く互換性があり、素早く統合できます。
Whisperによる自動音声認識とテキスト読み上げを備え、音声アプリに活用できます。

100 以上の LLM プロバイダーをつなぐオープンソース AI ゲートウェイ
1 つのリクエスト形式で 100 以上のプロバイダー、1,800 以上のモデルを呼び出し、アプリのコードを変えずにモデルを切り替えられます。
チーム、プロジェクト、アプリごとにスコープ付きキーを発行し、月次支出上限を設定して、誰がどれだけ使っているかを可視化します。
複数のデプロイにトラフィックを分散し、失敗時にリトライし、モデルやプロバイダーの障害時には自動で別の選択肢へ切り替えます。
リクエスト数、トークン数、モデル別コストをダッシュボードで確認でき、ログや分析ツールとの連携にも対応します。
特化型DeepSeek-V4 と R1 を中核とし、極めて低いトークンコストで提供される高効率なオープンウェイト/ホスト型推論 AI。

特化型Proprietary frontier models with powerful reasoning and multimodal features, but lacking open-weight model hosting and custom inference speeds.
特化型Proprietary frontier models with powerful reasoning and multimodal features, but lacking open-weight model hosting and custom inference speeds.

特化型Gemini モデルでマルチモーダルアプリを構築するための、Google の高速プロトタイピング IDE 兼デベロッパー API ワークベンチ。
特化型Gemini モデルでマルチモーダルアプリを構築するための、Google の高速プロトタイピング IDE 兼デベロッパー API ワークベンチ。
即時アクセス可能な膨大なホスト型モデルカタログを提供しますが、セルフホスティングではなくサードパーティプラットフォームへの信頼が必要です。

特化型Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
特化型Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
APIゲートウェイを通じた自動モデルフェイルオーバーと予算ガバナンスを提供しますが、オープンソースとしてのカスタマイズ性はやや劣ります。
APIゲートウェイを通じた自動モデルフェイルオーバーと予算ガバナンスを提供しますが、オープンソースとしてのカスタマイズ性はやや劣ります。

Groqに匹敵する超高速のトークン生成速度を誇るウェハースケールハードウェアクラウドですが、モデルのラインナップはより特化型です。
オープンモデル向けの高スループットなサーバーレス推論で、優れた速度とファインチューニング機能、幅広いAPI互換性を備えています。

何百ものオープンウェイトモデルをホストする低コストなサーバーレス推論クラウドですが、LPUのような専用カスタムハードウェアアクセラレータはありません。

Unified LLM gateway with failover and analytics, but offers less robust open-source developer SDK support.
サーバーレスモデルAPIやGPUインスタンスを提供しますが、超低遅延のテキスト生成へのこだわりはやや薄いAIクラウドプラットフォームです。

無料・オープンソースDecentralized serverless inference platform hosting open-source models, offering lower costs but less enterprise reliability guarantees.