特化型DeepSeek-V4 と R1 を中核とし、極めて低いトークンコストで提供される高効率なオープンウェイト/ホスト型推論 AI。
Groq は月間 3,987,936 訪問、前月比成長率 +10%、料金体系有料を記録しています。Respan は月間 91,503 訪問、成長率 -14.5%、料金体系フリーミアムを記録しています。

LPUとLPXによる超高速AI推論
学習ではなく推論に特化して設計され、極低遅延に最適化された独自アクセラレータ。
Llama、Mixtral、Gemmaなどの人気オープンモデルとWhisper音声モデルをホスト。
一般的なOpenAI形式のリクエストと広く互換性があり、素早く統合できます。
Whisperによる自動音声認識とテキスト読み上げを備え、音声アプリに活用できます。

可観測性と評価を内蔵したオープンソース AI ゲートウェイ
単一の API キーと OpenAI 互換エンドポイントから、OpenAI、Anthropic、Google、xAI、DeepSeek、Qwen など多数のモデルを利用できます。
既存の OpenAI、Anthropic、LangChain、Vercel AI SDK のコードを維持し、ベース URL のみ変更します。
自動フォールバック、リトライ、プロバイダーやキーをまたぐ負荷分散により、特定プロバイダーの制限や障害時でも応答を継続します。
すべての呼び出しが記録・追跡可能で、評価ツールと CLI によりターミナルからログとトレースを照会できます。
特化型DeepSeek-V4 と R1 を中核とし、極めて低いトークンコストで提供される高効率なオープンウェイト/ホスト型推論 AI。

特化型Proprietary frontier models with powerful reasoning and multimodal features, but lacking open-weight model hosting and custom inference speeds.
特化型Proprietary frontier models with powerful reasoning and multimodal features, but lacking open-weight model hosting and custom inference speeds.

特化型Gemini モデルでマルチモーダルアプリを構築するための、Google の高速プロトタイピング IDE 兼デベロッパー API ワークベンチ。
特化型Gemini モデルでマルチモーダルアプリを構築するための、Google の高速プロトタイピング IDE 兼デベロッパー API ワークベンチ。

オープンソースモデルの推論向けに優れたクラウドプラットフォームで、充実したファインチューニング対応を提供しますが、生速度はやや劣ります。
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.

Groqに匹敵する超高速のトークン生成速度を誇るウェハースケールハードウェアクラウドですが、モデルのラインナップはより特化型です。
オープンモデル向けの高スループットなサーバーレス推論で、優れた速度とファインチューニング機能、幅広いAPI互換性を備えています。

無料・オープンソース100 以上の LLM プロバイダーをつなぐオープンソース AI ゲートウェイ

何百ものオープンウェイトモデルをホストする低コストなサーバーレス推論クラウドですが、LPUのような専用カスタムハードウェアアクセラレータはありません。
サーバーレスモデルAPIやGPUインスタンスを提供しますが、超低遅延のテキスト生成へのこだわりはやや薄いAIクラウドプラットフォームです。

無料・オープンソースDecentralized serverless inference platform hosting open-source models, offering lower costs but less enterprise reliability guarantees.