즉시 액세스할 수 있는 대규모 호스팅 모델 카탈로그를 제공하지만, 자체 호스팅 대신 타사 플랫폼을 신뢰해야 합니다.
LangWatch는 월간 방문 52,098, 전월 대비 성장률 +73%, 가격 문의 가격 모델을 기록합니다. LiteLLM는 월간 방문 576,967, 성장률 +7.9%, 무료+유료, 가격 문의 가격 모델을 기록합니다.
| 항목 / 지표 | ![]() | ![]() |
|---|---|---|
| 공식 도메인 | langwatch.ai | litellm.ai |
| 가격 모델 | 가격 문의 | 무료+유료, 가격 문의 |
| 월간 방문 수 | 5.21만 (52,098) | 57.7만 (576,967) |
| 전월 대비 트래픽 변화량 | +2.2만 (+73%) | +4.25만 (+7.9%) |
| 주요 시장 및 점유율 | 🇺🇸 미국 (46.7%) | 🇺🇸 미국 (27.9%) |
| 월 직접 방문 수 | 2.9만 | 22.9만 |
| 사용자 평점 | 4.6 | 4.8 |
| 지원 플랫폼 | 웹사이트 | 웹사이트 |

AI 플랫폼 팀을 위한 에이전트 관측성, 평가, 거버넌스
GenAI 스펙을 완전 지원해 LangChain, LangGraph, CrewAI, Mastra, Pydantic AI, Vercel AI SDK와 모든 OTel 호환 스택의 트레이스가 같은 화면에 모이고 스팬별 토큰·비용·캐시를 기록합니다.
LLM 심사자, 사용자 코드, 워크플로로 단일 출력이나 전체 대화를 채점하고 노트북 또는 UI에서 평가를 실행하며 프로덕션 트래픽도 실시간 평가합니다.
텍스트와 음성 시뮬레이션 사용자가 현실적 시나리오로 턴마다 에이전트를 시험하며 로컬과 CI에서 실행됩니다. 도구, 스킬, MCP 서버는 추적되고 모킹할 수 있습니다.
자체 키로 OpenAI, Anthropic, Google, Bedrock, Mistral 등을 하나의 엔드포인트로 라우팅하고 개인·팀·고객별 예산을 적용하며 오버헤드는 약 11마이크로초입니다.

100개 이상의 LLM 제공자를 잇는 오픈소스 AI 게이트웨이
하나의 요청 형식으로 100개 이상 제공자와 1,800개 이상 모델을 호출하고 앱 코드 수정 없이 모델을 교체합니다.
팀·프로젝트·앱별로 범위가 제한된 키를 발급하고 월 지출 한도를 설정해 누가 얼마나 쓰는지 확인합니다.
여러 배포에 트래픽을 분산하고 실패 시 재시도하며, 모델이나 제공자 장애 시 자동으로 대체 경로로 전환합니다.
요청량, 토큰 수, 모델별 비용을 대시보드로 보여주고 로그·분석 도구 연동을 지원합니다.
즉시 액세스할 수 있는 대규모 호스팅 모델 카탈로그를 제공하지만, 자체 호스팅 대신 타사 플랫폼을 신뢰해야 합니다.

특화 강점Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
특화 강점Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
API 게이트웨이를 통해 자동 모델 장애 조치 및 예산 거버넌스를 제공하지만, 오픈소스 커스터마이징은 상대적으로 적습니다.
API 게이트웨이를 통해 자동 모델 장애 조치 및 예산 거버넌스를 제공하지만, 오픈소스 커스터마이징은 상대적으로 적습니다.

Unified LLM gateway with failover and analytics, but offers less robust open-source developer SDK support.

무료 / 오픈소스프로덕션 AI를 위한 에이전트 관측성, 평가 및 지속적 개선 플랫폼
고급 엔터프라이즈 관찰 가능성 및 가드레일 도구를 제공하지만, LiteLLM의 경량 자체 호스팅 프록시가 주는 단순함은 부족합니다.

관리형 멀티프로바이더 AI 라우팅 및 비용 추적을 제공하지만, LiteLLM의 네이티브 오픈소스 유연성은 부족합니다.
무료 / 오픈소스LLM 제공업체를 통합하기 위한 오픈소스 대안이지만, 미들웨어 통합 생태계가 상대적으로 덜 방대합니다.

무료 / 오픈소스스스로 개선되는 AI 에이전트를 구축·시뮬레이션·평가·모니터링
무료 / 오픈소스스스로 개선되는 AI 에이전트를 구축·시뮬레이션·평가·모니터링

무료 / 오픈소스Maxim AI is a platform for evaluating, testing, and monitoring AI applications, and the home of Bifrost, an open-source LLM gateway. It helps teams ship reliable AI features with tracing, evaluation, agent simulation, and production observability.
무료 / 오픈소스Maxim AI is a platform for evaluating, testing, and monitoring AI applications, and the home of Bifrost, an open-source LLM gateway. It helps teams ship reliable AI features with tracing, evaluation, agent simulation, and production observability.

무료 / 오픈소스Open-source request routing with built-in evaluations, but has a smaller community and fewer pre-built provider connectors.
무료 / 오픈소스AI 엔지니어링 팀을 위한 협업 레이어