LiteLLM는 월간 방문 576,967, 전월 대비 성장률 +7.9%, 무료+유료, 가격 문의 가격 모델을 기록합니다. Promptr는 월간 방문 0, 성장률 0%, Pay-as-you-go 가격 모델을 기록합니다.
100개 이상의 LLM 제공자를 잇는 오픈소스 AI 게이트웨이
REST 호출 한 번으로 LLM 프롬프트를 압축해 토큰 비용 절감
| 항목 / 지표 | | |
|---|---|---|
| 공식 도메인 | litellm.ai | promptr.dev |
| 가격 모델 | 무료+유료, 가격 문의 | Pay-as-you-go |
| 월간 방문 수 | 57.7만 (576,967) | 0 (0) |
| 전월 대비 트래픽 변화량 | +4.25만 (+7.9%) | 0 (0%) |
| 주요 시장 및 점유율 | 🇺🇸 미국 (27.9%) | 🌐 글로벌 (—) |
| 월 직접 방문 수 | 22.9만 | 0 |
| 사용자 평점 | 4.8 | 3.6 |
| 지원 플랫폼 | 웹사이트 | 웹사이트 |
100개 이상의 LLM 제공자를 잇는 오픈소스 AI 게이트웨이
하나의 요청 형식으로 100개 이상 제공자와 1,800개 이상 모델을 호출하고 앱 코드 수정 없이 모델을 교체합니다.
팀·프로젝트·앱별로 범위가 제한된 키를 발급하고 월 지출 한도를 설정해 누가 얼마나 쓰는지 확인합니다.
여러 배포에 트래픽을 분산하고 실패 시 재시도하며, 모델이나 제공자 장애 시 자동으로 대체 경로로 전환합니다.
요청량, 토큰 수, 모델별 비용을 대시보드로 보여주고 로그·분석 도구 연동을 지원합니다.
REST 호출 한 번으로 LLM 프롬프트를 압축해 토큰 비용 절감
단일 REST 엔드포인트에 프롬프트를 보내면 더 짧은 버전이 일반 텍스트로 반환되어 그대로 모델에 넘길 수 있습니다.
공급사는 LLM 입력 비용을 최대 40% 낮춘다고 밝히며, 샘플에서는 45% 감소 예시를 보여줍니다.
curl, Python, JavaScript, C#용 복사-붙여넣기 예제가 있어 통합에 며칠이 아니라 몇 분이 걸립니다.
태그로 구간을 감싸 압축 대상에서 제외하거나 해당 블록의 압축 비율을 개별 지정할 수 있습니다.
즉시 액세스할 수 있는 대규모 호스팅 모델 카탈로그를 제공하지만, 자체 호스팅 대신 타사 플랫폼을 신뢰해야 합니다.
특화 강점Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
특화 강점Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
API 게이트웨이를 통해 자동 모델 장애 조치 및 예산 거버넌스를 제공하지만, 오픈소스 커스터마이징은 상대적으로 적습니다.
API 게이트웨이를 통해 자동 모델 장애 조치 및 예산 거버넌스를 제공하지만, 오픈소스 커스터마이징은 상대적으로 적습니다.
무료 / 오픈소스Unsloth is an open-source toolkit for running and training large language models locally. It provides faster, more memory-efficient fine-tuning, a local chat and agent environment with browser use, image and video generation, and an OpenAI-compatible API your existing tools can connect to.
무료 / 오픈소스Unsloth is an open-source toolkit for running and training large language models locally. It provides faster, more memory-efficient fine-tuning, a local chat and agent environment with browser use, image and video generation, and an OpenAI-compatible API your existing tools can connect to.
Unified LLM gateway with failover and analytics, but offers less robust open-source developer SDK support.
고급 엔터프라이즈 관찰 가능성 및 가드레일 도구를 제공하지만, LiteLLM의 경량 자체 호스팅 프록시가 주는 단순함은 부족합니다.
관리형 멀티프로바이더 AI 라우팅 및 비용 추적을 제공하지만, LiteLLM의 네이티브 오픈소스 유연성은 부족합니다.
무료 / 오픈소스복구 가능한 컨텍스트 압축과 스마트 모델 라우팅으로 AI 에이전트 토큰 비용 절감
무료 / 오픈소스LLM 제공업체를 통합하기 위한 오픈소스 대안이지만, 미들웨어 통합 생태계가 상대적으로 덜 방대합니다.
무료 / 오픈소스Honcho is an open-source memory layer for AI agents. It ingests messages, indexes them, and runs background reasoning so agents can recall who a user is, what happened before, and what to do next — across sessions, tools, and machines.
무료 / 오픈소스Honcho is an open-source memory layer for AI agents. It ingests messages, indexes them, and runs background reasoning so agents can recall who a user is, what happened before, and what to do next — across sessions, tools, and machines.
무료 / 오픈소스Open-source request routing with built-in evaluations, but has a smaller community and fewer pre-built provider connectors.
특화 강점요청 캐싱, 모니터링, 비용 분석에 뛰어나지만, 라우터라기보다는 프록시 모니터로 주로 작동합니다.
