LiteLLM는 월간 방문 576,967, 전월 대비 성장률 +7.9%, 무료+유료, 가격 문의 가격 모델을 기록합니다. OpenLIT는 월간 방문 6,028, 성장률 -18.3%, 무료 가격 모델을 기록합니다.
100개 이상의 LLM 제공자를 잇는 오픈소스 AI 게이트웨이
오픈소스 OpenTelemetry 네이티브 AI 에이전트 관측성 및 하네스 엔지니어링 플랫폼
| 항목 / 지표 | | |
|---|---|---|
| 공식 도메인 | litellm.ai | openlit.io |
| 가격 모델 | 무료+유료, 가격 문의 | 무료 |
| 월간 방문 수 | 57.7만 (576,967) | 6.03천 (6,028) |
| 전월 대비 트래픽 변화량 | +4.25만 (+7.9%) | -1.35천 (-18.3%) |
| 주요 시장 및 점유율 | 🇺🇸 미국 (27.9%) | 🇺🇸 미국 (53.6%) |
| 월 직접 방문 수 | 22.9만 | 2.38천 |
| 사용자 평점 | 4.8 | 4.7 |
| 지원 플랫폼 | 웹사이트 | 웹사이트 |
100개 이상의 LLM 제공자를 잇는 오픈소스 AI 게이트웨이
하나의 요청 형식으로 100개 이상 제공자와 1,800개 이상 모델을 호출하고 앱 코드 수정 없이 모델을 교체합니다.
팀·프로젝트·앱별로 범위가 제한된 키를 발급하고 월 지출 한도를 설정해 누가 얼마나 쓰는지 확인합니다.
여러 배포에 트래픽을 분산하고 실패 시 재시도하며, 모델이나 제공자 장애 시 자동으로 대체 경로로 전환합니다.
요청량, 토큰 수, 모델별 비용을 대시보드로 보여주고 로그·분석 도구 연동을 지원합니다.
오픈소스 OpenTelemetry 네이티브 AI 에이전트 관측성 및 하네스 엔지니어링 플랫폼
모든 LLM 호출, 도구 호출, 검색, 에이전트 단계를 OpenTelemetry 트레이스와 메트릭으로 수집하고 사용자, 세션, 비용, 지연 시간, 사용자 정의 메타데이터로 필터링합니다.
프로덕션 트래픽이나 실험에 LLM-as-a-judge, 휴리스틱 검사, 사람 검토를 적용해 정확성, 관련성, 안전성을 지속적으로 측정합니다.
Prompt Hub에서 프롬프트를 관리하고 버전 관리하며, 새 애플리케이션 코드를 배포하지 않고도 프롬프트를 배포, 롤백, 업데이트합니다.
OpenAI, Anthropic 등 LLM API 키를 코드베이스 밖의 암호화된 Vault에 보관하고 교체할 수 있습니다.
즉시 액세스할 수 있는 대규모 호스팅 모델 카탈로그를 제공하지만, 자체 호스팅 대신 타사 플랫폼을 신뢰해야 합니다.
무료 / 오픈소스오픈 AI 모델을 로컬과 클라우드에서 실행하고 구축하세요
특화 강점Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
특화 강점Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
API 게이트웨이를 통해 자동 모델 장애 조치 및 예산 거버넌스를 제공하지만, 오픈소스 커스터마이징은 상대적으로 적습니다.
API 게이트웨이를 통해 자동 모델 장애 조치 및 예산 거버넌스를 제공하지만, 오픈소스 커스터마이징은 상대적으로 적습니다.
Unified LLM gateway with failover and analytics, but offers less robust open-source developer SDK support.
무료 / 오픈소스프로덕션 AI를 위한 에이전트 관측성, 평가 및 지속적 개선 플랫폼
관리형 멀티프로바이더 AI 라우팅 및 비용 추적을 제공하지만, LiteLLM의 네이티브 오픈소스 유연성은 부족합니다.
무료 / 오픈소스LLM 제공업체를 통합하기 위한 오픈소스 대안이지만, 미들웨어 통합 생태계가 상대적으로 덜 방대합니다.
무료 / 오픈소스스스로 개선되는 AI 에이전트를 구축·시뮬레이션·평가·모니터링
무료 / 오픈소스스스로 개선되는 AI 에이전트를 구축·시뮬레이션·평가·모니터링
무료 / 오픈소스Maxim AI is a platform for evaluating, testing, and monitoring AI applications, and the home of Bifrost, an open-source LLM gateway. It helps teams ship reliable AI features with tracing, evaluation, agent simulation, and production observability.
무료 / 오픈소스Maxim AI is a platform for evaluating, testing, and monitoring AI applications, and the home of Bifrost, an open-source LLM gateway. It helps teams ship reliable AI features with tracing, evaluation, agent simulation, and production observability.
