自然言語でE2Eテストを計画・作成・自己修復する生成AIネイティブなQAエージェント
| 項目 / 指標 | ![]() | ![]() |
|---|---|---|
| 公式ドメイン | arize.com | evalcore.cc |
| 料金モデル | 有料、料金は要問い合わせ | 無料 |
| 月間訪問数 | 24.9万 (249,028) | 0 (0) |
| 前月比トラフィック増減 | +7668 (+3.2%) |
| 0 (0%) |
| 主要市場とシェア | 🇺🇸 アメリカ合衆国 (51.6%) | 🌐 グローバル (—) |
|---|
| 月間ダイレクト訪問数 | 10.78万 | 0 |
|---|
| ユーザー評価 | 4.6 | 4.8 |
|---|
| 対応プラットフォーム | ウェブサイト | ウェブサイト |
|---|

本番AIのためのエージェント可観測性・評価・継続的改善プラットフォーム
OpenTelemetry 上の OpenInference 規約を用いてエージェントと LLM 呼び出しの span・trace・セッションを取得し、計装を移植可能に保ちます。
span・trace・セッションの各レベルで評価を実行し、検索品質やツール利用、最終回答を大規模な本番データで採点します。
製品内エージェントがトレースを調査して根本原因を推定し、出荷前にレビューできる修正案を提示します。
トレースデータを自社インフラ内に保持したい場合に、定評あるオープンソースのトレース・評価ツールをセルフホストできます。

AIの振る舞いをスナップショットテスト — CIでオフライン回帰検知
ライブ実行でモデルのリクエストとレスポンスをすべてローカルSQLiteカセットに取り込み、CIがオフラインで決定的にゼロコストで再生します。
OpenAI互換エンドポイント、vLLM、Ollama、独自REST API、シェルコマンド、OTel/OpenInferenceトレースを指定可能。SDKは不要です。
containsやjudgeルーブリックなどのスコアラーをYAMLで重ね、各ケースの正解がどういう形かを正確に表現します。
ベースライン分岐と比較して本当の回帰だけを失敗とし、終了コードでプルリクエストを止めます。
自然言語でE2Eテストを計画・作成・自己修復する生成AIネイティブなQAエージェント

実験追跡やモデルレジストリのワークフローに優れていますが、リアルタイムのLLM本番環境の観測性には特化していません。

無料・オープンソース自己改善するAIエージェントの構築・シミュレーション・評価・監視

無料・オープンソースMaxim AI is a platform for evaluating, testing, and monitoring AI applications, and the home of Bifrost, an open-source LLM gateway. It helps teams ship reliable AI features with tracing, evaluation, agent simulation, and production observability.

無料・オープンソースモバイルと Web のためのオープンソースで読める UI テスト


プロンプト管理とバージョン管理に深く焦点を当てている一方、ArizeはエンドツーエンドのトレースとML観測性を優先しています。

無料・オープンソースAIプラットフォームチームのためのエージェント可観測性・評価・ガバナンス
Openlayer is a platform that tests AI systems before release, monitors them in production, and enforces policy and compliance requirements across every model and agent your company runs.

無料・オープンソースAI エージェントの障害を見つけ、そのまま修正するオープンソース可観測性
実験追跡やモデルレジストリのワークフローに優れていますが、リアルタイムのLLM本番環境の観測性には特化していません。
無料・オープンソース自己改善するAIエージェントの構築・シミュレーション・評価・監視
無料・オープンソースMaxim AI is a platform for evaluating, testing, and monitoring AI applications, and the home of Bifrost, an open-source LLM gateway. It helps teams ship reliable AI features with tracing, evaluation, agent simulation, and production observability.
プロンプト管理とバージョン管理に深く焦点を当てている一方、ArizeはエンドツーエンドのトレースとML観測性を優先しています。
組織全体でLLM評価・可観測性・レッドチーミングの基準を統一