特化型DeepSeek-V4 と R1 を中核とし、極めて低いトークンコストで提供される高効率なオープンウェイト/ホスト型推論 AI。
Arize AI は月間 249,028 訪問、前月比成長率 +3.2%、料金体系有料、料金は要問い合わせを記録しています。Groq は月間 3,987,936 訪問、成長率 +10%、料金体系有料を記録しています。

本番AIのためのエージェント可観測性・評価・継続的改善プラットフォーム

本番AIのためのエージェント可観測性・評価・継続的改善プラットフォーム
OpenTelemetry 上の OpenInference 規約を用いてエージェントと LLM 呼び出しの span・trace・セッションを取得し、計装を移植可能に保ちます。
span・trace・セッションの各レベルで評価を実行し、検索品質やツール利用、最終回答を大規模な本番データで採点します。
製品内エージェントがトレースを調査して根本原因を推定し、出荷前にレビューできる修正案を提示します。
トレースデータを自社インフラ内に保持したい場合に、定評あるオープンソースのトレース・評価ツールをセルフホストできます。

LPUとLPXによる超高速AI推論
学習ではなく推論に特化して設計され、極低遅延に最適化された独自アクセラレータ。
Llama、Mixtral、Gemmaなどの人気オープンモデルとWhisper音声モデルをホスト。
一般的なOpenAI形式のリクエストと広く互換性があり、素早く統合できます。
Whisperによる自動音声認識とテキスト読み上げを備え、音声アプリに活用できます。
特化型DeepSeek-V4 と R1 を中核とし、極めて低いトークンコストで提供される高効率なオープンウェイト/ホスト型推論 AI。

特化型Proprietary frontier models with powerful reasoning and multimodal features, but lacking open-weight model hosting and custom inference speeds.
特化型Proprietary frontier models with powerful reasoning and multimodal features, but lacking open-weight model hosting and custom inference speeds.

特化型Gemini モデルでマルチモーダルアプリを構築するための、Google の高速プロトタイピング IDE 兼デベロッパー API ワークベンチ。
特化型Gemini モデルでマルチモーダルアプリを構築するための、Google の高速プロトタイピング IDE 兼デベロッパー API ワークベンチ。
数百のモデルを束ねる統合APIゲートウェイですが、ハードウェアの直接ホストではなくルーターとして機能します。

オープンソースモデルの推論向けに優れたクラウドプラットフォームで、充実したファインチューニング対応を提供しますが、生速度はやや劣ります。

Groqに匹敵する超高速のトークン生成速度を誇るウェハースケールハードウェアクラウドですが、モデルのラインナップはより特化型です。
オープンモデル向けの高スループットなサーバーレス推論で、優れた速度とファインチューニング機能、幅広いAPI互換性を備えています。

何百ものオープンウェイトモデルをホストする低コストなサーバーレス推論クラウドですが、LPUのような専用カスタムハードウェアアクセラレータはありません。

実験追跡やモデルレジストリのワークフローに優れていますが、リアルタイムのLLM本番環境の観測性には特化していません。
実験追跡やモデルレジストリのワークフローに優れていますが、リアルタイムのLLM本番環境の観測性には特化していません。
サーバーレスモデルAPIやGPUインスタンスを提供しますが、超低遅延のテキスト生成へのこだわりはやや薄いAIクラウドプラットフォームです。

無料・オープンソースDecentralized serverless inference platform hosting open-source models, offering lower costs but less enterprise reliability guarantees.

無料・オープンソースIncludes integrated guardrails and simulation tools, but is less mature for large-scale enterprise production telemetry monitoring.
無料・オープンソースIncludes integrated guardrails and simulation tools, but is less mature for large-scale enterprise production telemetry monitoring.