
AI 동작을 위한 스냅샷 테스트 — CI에서 오프라인 회귀 감지
| 항목 / 지표 | ![]() | ![]() |
|---|---|---|
| 공식 도메인 | arize.com | evalcore.cc |
| 가격 모델 | 유료, 가격 문의 | 무료 |
| 월간 방문 수 | 24.9만 (249,028) | 0 (0) |
| 전월 대비 트래픽 변화량 | +7.67천 (+3.2%) |
| 0 (0%) |
| 주요 시장 및 점유율 | 🇺🇸 미국 (51.6%) | 🌐 글로벌 (—) |
|---|
| 월 직접 방문 수 | 10.78만 | 0 |
|---|
| 사용자 평점 | 4.6 | 4.8 |
|---|
| 지원 플랫폼 | 웹사이트 | 웹사이트 |
|---|

프로덕션 AI를 위한 에이전트 관측성, 평가 및 지속적 개선 플랫폼
OpenTelemetry 기반 OpenInference 규약으로 에이전트와 LLM 호출의 span·trace·세션을 수집해 계측을 이식 가능하게 유지합니다.
span·trace·세션 수준에서 평가를 실행해 검색 품질, 도구 사용, 최종 답변을 대규모 프로덕션 데이터로 채점합니다.
제품 내 에이전트가 트레이스를 조사해 근본 원인을 추정하고 배포 전 검토할 수 있는 수정안을 제시합니다.
트레이스 데이터를 자사 인프라에 두고 싶을 때 검증된 오픈소스 추적·평가 도구를 셀프호스팅할 수 있습니다.

AI 동작을 위한 스냅샷 테스트 — CI에서 오프라인 회귀 감지
라이브 실행이 모든 모델 요청과 응답을 로컬 SQLite 카세트에 담아내고, CI가 오프라인에서 결정적으로 무료로 재생합니다.
OpenAI 호환 엔드포인트, vLLM, Ollama, 자체 REST API, 셸 명령, OTel/OpenInference 트레이스를 지정할 수 있으며 SDK가 필요 없습니다.
contains, judge 루브릭 등 스코어러를 YAML로 얹어 각 케이스의 정답 형태를 정확히 표현합니다.
베이스라인 브랜치와 비교해 진짜 회귀만 실패시키고, 종료 코드로 풀 리퀘스트를 막습니다.

실험 추적 및 모델 레지스트리 워크플로우에 뛰어나지만, 실시간 LLM 프로덕션 관측성에 아주 특화되어 있지는 않습니다.

무료 / 오픈소스스스로 개선되는 AI 에이전트를 구축·시뮬레이션·평가·모니터링

무료 / 오픈소스Maxim AI is a platform for evaluating, testing, and monitoring AI applications, and the home of Bifrost, an open-source LLM gateway. It helps teams ship reliable AI features with tracing, evaluation, agent simulation, and production observability.

무료 / 오픈소스모바일과 웹을 위한 오픈소스 읽기 쉬운 UI 테스트


프롬프트 관리 및 버전 제어에 크게 집중하는 반면, Arize는 엔드투엔드 트레이싱과 ML 관측성을 우선시합니다.

무료 / 오픈소스AI 플랫폼 팀을 위한 에이전트 관측성, 평가, 거버넌스
Openlayer is a platform that tests AI systems before release, monitors them in production, and enforces policy and compliance requirements across every model and agent your company runs.

무료 / 오픈소스AI 에이전트의 실패를 찾아내고 그대로 고치는 오픈소스 관측성
실험 추적 및 모델 레지스트리 워크플로우에 뛰어나지만, 실시간 LLM 프로덕션 관측성에 아주 특화되어 있지는 않습니다.
무료 / 오픈소스스스로 개선되는 AI 에이전트를 구축·시뮬레이션·평가·모니터링
무료 / 오픈소스Maxim AI is a platform for evaluating, testing, and monitoring AI applications, and the home of Bifrost, an open-source LLM gateway. It helps teams ship reliable AI features with tracing, evaluation, agent simulation, and production observability.
프롬프트 관리 및 버전 제어에 크게 집중하는 반면, Arize는 엔드투엔드 트레이싱과 ML 관측성을 우선시합니다.
조직 전체의 LLM 평가, 관측성, 레드팀 테스트 기준을 통일