# EvalCore

根据 OpenAITools.app 于 2026-11-11 核对的流量数据，EvalCore（evalcore.cc）是一个收录在 AI 测试下的 AI 平台，月访问量为 0，月度环比流量变化为 +0（0%）。其主要地理市场为全球（— 流量份额），采用免费定价模式。按月流量计算的主要竞争替代方案包括 Maxim AI（12.14万次访问/月），Future AGI（12.17万次访问/月），Confident AI（8.34万次访问/月）。

面向 AI 行为的快照测试——在 CI 中离线捕获回归

## 关键遥测与规格

| 指标 | 数值 |
| :--- | :--- |
| 工具名称 | EvalCore |
| 标识 | evalcore |
| Status | active |
| Origin | open_source |
| Maintenance | active |
| 官方域名 | evalcore.cc |
| 官网地址 | https://evalcore.cc |
| 分类 | AI 测试, AI Developer Tools, Large Language Models (LLMs), AI Agent |
| 定价模式 | 免费 |
| 月访问量 | 0 |
| 月度环比流量变化 | 0 |
| 月度环比增长率 | 0% |
| 主要市场 | 全球 |
| 市场份额 | — |
| 直接访问量 | 0 |
| 自然搜索访问 | 0 |
| 社交访问 | 0 |
| 推荐访问 | 0 |
| 邮件访问 | 0 |
| 评价得分 | 4.8 |
| 收藏数 | 0 |
| 支持平台 | 网站 |
| 计费平台 |  |
| 属性 | 定价: 免费; 功能: 网站 |
| 标签 | LLM 评测, AI 测试, 评测运行器, 快照测试, LLM 回归测试, 智能体评估, 录制回放, 面向 AI 的 CI, 离线回放, 确定性测试, YAML 配置, 基线测试, 模型对比, 多次试验运行, 兼容 OpenAI, REST 目标, shell 目标, OpenTelemetry 追踪, OpenInference 追踪, SQLite 卡带, 单二进制, 开源, Apache-2.0 许可证, 无遥测, 无需注册, 无需服务器, 零成本 CI, AI 行为测试, 提示词回归测试 |

## 概览

EvalCore 解决的是 AI 工程中一个常见故障：你调整了提示词、换了模型或升级了依赖，生产环境却悄悄出了问题。EvalCore 不去在 CI 中重复昂贵且不确定的模型调用，而是把 AI 行为当作快照来处理。一个评估就是一个描述 target 的 YAML 文件加一份 JSONL 数据集，再叠加 scorer 来定义什么算“好”。

首次运行会对真实模型进行实时调用——任何兼容 OpenAI 的接口、vLLM、Ollama、自建 REST API、shell 命令，或 OpenTelemetry/OpenInference trace 都可以。每个请求与响应都会写入本地 SQLite cassette，以规范化请求的哈希为键，摘要中还会给出 token 与费用数据。此后 CI 用 `--cache replay` 逐字节回放这些录制：无网络、无 API 密钥、无易波动的评审模型，相同输入永远得到相同判定。

由于 cassette 会提交进仓库，`--baseline main` 对比只会在真正出现回归时失败，进程退出码则用来卡住流水线。Trials、模型对比、智能体 trace、门禁与报告都只是几行 YAML 或一个参数，而非一整套框架。它以单个小型 Rust 二进制分发，可与任何目标端语言配合，且不收集任何遥测数据。

## 定价与套餐

免费开源，采用 Apache-2.0 许可；借助离线 cassette 回放，CI 中成本为 0。可通过 cargo 或预编译二进制安装，无需注册、无需服务器、无遥测。

## 关键功能与能力

- **录制一次，永久回放:** 实时运行会把每次模型请求与响应捕获进本地 SQLite cassette，CI 可离线、确定性、零成本地回放。
- **任何东西都能成为 target:** 可指向兼容 OpenAI 的端点、vLLM、Ollama、自建 REST API、shell 命令或 OTel/OpenInference trace，无需 SDK。
- **用 scorer 定义“好”:** 在 YAML 中叠加 contains、judge 评分标准等 scorer，精确表达每个用例的正确答案长什么样。
- **回归门禁与基线:** 与基线分支对比，只让真正的回归失败，并用进程退出码卡住合并请求。
- **内置成本、token 与报告:** 每次摘要都会报告实时运行的 token 用量与花费，trials、模型对比与历史记录让趋势一目了然。

## 主要用例

- **提示词与模型变更的安全网 (AI 工程师):** 在代表性数据集上录制应用行为，让 CI 立刻告诉你新提示词或新模型是否悄悄降低了回答质量。
- **低成本、确定性的 CI 门禁 (平台与 DevOps 团队):** 每个合并请求都跑评估套件，无需 API 密钥、无需网络，AI 测试不再拖慢流水线或推高构建账单。
- **基于 trace 的智能体评估 (智能体开发者):** 接入 OpenTelemetry 或 OpenInference trace，把真实智能体运行转化为可回放的回归测试。
- **客观的模型对比 (工程管理者):** 用同一套用例跑候选模型，在上线前查看通过率、token 数与成本。

## 优势

- 真正免费开源，Apache-2.0 许可，没有按量计费
- 确定性的离线回放，把易波动、昂贵的模型调用移出 CI
- 单一无依赖二进制，与应用使用的语言无关
- 配置就是 YAML 加 JSONL，套件易于审阅与版本管理

## 局限

- 需要 Rust 工具链或预编译二进制，并熟悉命令行操作
- cassette 必须先实时录制，初始搭建需要真实的 API 访问权限
- 没有托管仪表盘，结果与历史保存在仓库和 CI 日志中

## 常见问题

### EvalCore 真的免费吗？
是的。它以 Apache-2.0 许可发布，在 CI 中回放 cassette 不产生费用，因为不会发起模型调用。没有注册、没有服务器，也没有遥测。

### 它支持哪些模型和框架？
任何支持 HTTP 或 shell 的 target 都可以：兼容 OpenAI 的网关、vLLM、Ollama、自建 REST 端点、shell 命令，以及 OpenTelemetry 或 OpenInference trace。

### 回放如何保持确定性？
首次实时运行会把每个请求与响应写入本地 SQLite cassette，以规范化请求的哈希为键。相同请求哈希回放时会逐字节返回录制答案。

### 使用它需要写代码吗？
不需要。套件以数据形式描述——一个指向 target 的 YAML 文件加 JSONL 数据集与 scorer——你是在配置评估，而不是搭建测试框架。

### EvalCore 的月流量和增长趋势如何？
EvalCore 目前每月获得 0 访问量，月度环比流量变化为 +0（增长率 0%）。其主要来源市场是全球（— 份额），包括每月 0 次直接访问和每月 0 次自然搜索访问。

### EvalCore 免费吗？它的定价模式是什么？
EvalCore 采用免费定价模式。免费开源，采用 Apache-2.0 许可；借助离线 cassette 回放，CI 中成本为 0。可通过 cargo 或预编译二进制安装，无需注册、无需服务器、无遥测。支持的计费和结账平台包括：未列出。

### 2026 年 EvalCore 的最佳替代方案有哪些？
基于 OpenAITools.app 的分类流量和功能契合度，EvalCore 的前五个替代方案是：1. Maxim AI（12.14万次访问/月）; 2. Future AGI（12.17万次访问/月）; 3. Confident AI（8.34万次访问/月）; 4. Scorecard（6344 次访问/月）; 5. KaneAI（90.13万次访问/月）。

### EvalCore 支持哪些平台和核心 AI 能力？
EvalCore 被归类在 AI 测试, AI Developer Tools, Large Language Models (LLMs), AI Agent 下，支持以下平台：网站，其核心能力标签包括：LLM 评测, AI 测试, 评测运行器, 快照测试, LLM 回归测试, 智能体评估。

## 替代工具

| 工具名称 | 月访问量 | 定价模式 | 对比 |
| :--- | :--- | :--- | :--- |
| [Maxim AI](https://openaitools.app/zh/tool/maxim-ai) | 121,351 | Contact for Pricing, Free Open Source | [对比](https://openaitools.app/zh/compare/evalcore-vs-maxim-ai) |
| [Future AGI](https://openaitools.app/zh/tool/future-agi) | 121,741 | Freemium, Usage-based | [对比](https://openaitools.app/zh/compare/evalcore-vs-future-agi) |
| [Confident AI](https://openaitools.app/zh/tool/confident-ai) | 83,400 | 免费增值，付费，定价请咨询 | [对比](https://openaitools.app/zh/compare/confident-ai-vs-evalcore) |
| [Scorecard](https://openaitools.app/zh/tool/scorecard) | 6,344 | 免费增值 | [对比](https://openaitools.app/zh/compare/evalcore-vs-scorecard) |
| [KaneAI](https://openaitools.app/zh/tool/kaneai) | 901,340 | 免费增值，付费，定价请咨询 | [对比](https://openaitools.app/zh/compare/evalcore-vs-kaneai) |
| [Mindgard](https://openaitools.app/zh/tool/mindgard) | 153,455 | 定价请咨询 | [对比](https://openaitools.app/zh/compare/evalcore-vs-mindgard) |
| [honeyhive.ai](https://openaitools.app/zh/tool/honeyhive-ai) | 8,835 | 免费增值，定价请咨询 | [对比](https://openaitools.app/zh/compare/evalcore-vs-honeyhive-ai) |
| [QA.tech](https://openaitools.app/zh/tool/qa-tech) | 30,550 | 付费，定价请咨询 | [对比](https://openaitools.app/zh/compare/evalcore-vs-qa-tech) |
| [Openlayer](https://openaitools.app/zh/tool/openlayer) | 48,415 | 免费增值，定价请咨询 | [对比](https://openaitools.app/zh/compare/evalcore-vs-openlayer) |
| [BaseRock AI](https://openaitools.app/zh/tool/baserock) | 5,093 | 免费增值，付费，定价请咨询 | [对比](https://openaitools.app/zh/compare/baserock-vs-evalcore) |
| [Maestro Studio Desktop Beta](https://openaitools.app/zh/tool/maestro-studio-desktop-beta) | 102,589 | 免费增值 | [对比](https://openaitools.app/zh/compare/evalcore-vs-maestro-studio-desktop-beta) |
| [Arize AI](https://openaitools.app/zh/tool/arize-com) | 249,028 | 付费，定价请咨询 | [对比](https://openaitools.app/zh/compare/arize-com-vs-evalcore) |

---
来源：https://openaitools.app/zh/tool/evalcore