즉시 액세스할 수 있는 대규모 호스팅 모델 카탈로그를 제공하지만, 자체 호스팅 대신 타사 플랫폼을 신뢰해야 합니다.
탄력적이고 MySQL 호환인 분산 SQL, HTAP 분석 내장
| 항목 / 지표 | ![]() | |
|---|---|---|
| 공식 도메인 | litellm.ai | tidbcloud.com |
| 가격 모델 | 무료+유료, 가격 문의 | 가격 문의 |
| 월간 방문 수 | 57.7만 (576,967) | 6.1만 (61,010) |
| 전월 대비 트래픽 변화량 | +4.25만 (+7.9%) | -1.33만 (-17.9%) |
| 주요 시장 및 점유율 | 🇺🇸 미국 (27.9%) | 🇮🇳 인도 (50.5%) |
| 월 직접 방문 수 | 22.9만 | 4.06만 |
| 사용자 평점 | 4.8 | 4.6 |
| 지원 플랫폼 | 웹사이트 | 웹사이트 |

100개 이상의 LLM 제공자를 잇는 오픈소스 AI 게이트웨이
하나의 요청 형식으로 100개 이상 제공자와 1,800개 이상 모델을 호출하고 앱 코드 수정 없이 모델을 교체합니다.
팀·프로젝트·앱별로 범위가 제한된 키를 발급하고 월 지출 한도를 설정해 누가 얼마나 쓰는지 확인합니다.
여러 배포에 트래픽을 분산하고 실패 시 재시도하며, 모델이나 제공자 장애 시 자동으로 대체 경로로 전환합니다.
요청량, 토큰 수, 모델별 비용을 대시보드로 보여주고 로그·분석 도구 연동을 지원합니다.
탄력적이고 MySQL 호환인 분산 SQL, HTAP 분석 내장
스토리지와 컴퓨팅을 몇 초 만에 확장·축소할 수 있고 중단이나 수동 샤딩이 필요 없습니다. 트래픽 급증과 성장을 감당하면서 사용한 만큼만 지불합니다.
SOC 1 Type 2, SOC 2 Type 2, SOC 3, ISO 27001, ISO 27701, PCI DSS, GDPR, HIPAA 기준을 충족하고 암호화와 접근 제어를 갖춰 규제 산업 워크로드에 적합합니다.
분산 트랜잭션과 다중 복제본 Raft 합의를 통해 노드와 존 장애에도 데이터베이스를 계속 사용할 수 있고, 가용 영역은 물론 리전을 넘는 재해 대비도 가능합니다.
하나의 엔진이 트랜잭션과 분석 쿼리를 모두 처리해 운영 중인 실시간 데이터에 직접 리포트와 분석을 실행합니다. 별도 웨어하우스 유지가 필요 없습니다.
즉시 액세스할 수 있는 대규모 호스팅 모델 카탈로그를 제공하지만, 자체 호스팅 대신 타사 플랫폼을 신뢰해야 합니다.

특화 강점Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
특화 강점Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
API 게이트웨이를 통해 자동 모델 장애 조치 및 예산 거버넌스를 제공하지만, 오픈소스 커스터마이징은 상대적으로 적습니다.
API 게이트웨이를 통해 자동 모델 장애 조치 및 예산 거버넌스를 제공하지만, 오픈소스 커스터마이징은 상대적으로 적습니다.

Unified LLM gateway with failover and analytics, but offers less robust open-source developer SDK support.
특화 강점Pinecone is a managed vector database and AI knowledge platform for building retrieval-augmented generation (RAG), semantic search, and agent memory. It stores vector embeddings at scale, makes writes searchable within seconds with no index tuning, and keeps p99 latency steady as data grows. Pinecone powers products for more than 10,000 customers and over a million developers worldwide.
특화 강점Pinecone is a managed vector database and AI knowledge platform for building retrieval-augmented generation (RAG), semantic search, and agent memory. It stores vector embeddings at scale, makes writes searchable within seconds with no index tuning, and keeps p99 latency steady as data grows. Pinecone powers products for more than 10,000 customers and over a million developers worldwide.
고급 엔터프라이즈 관찰 가능성 및 가드레일 도구를 제공하지만, LiteLLM의 경량 자체 호스팅 프록시가 주는 단순함은 부족합니다.

관리형 멀티프로바이더 AI 라우팅 및 비용 추적을 제공하지만, LiteLLM의 네이티브 오픈소스 유연성은 부족합니다.
무료 / 오픈소스LLM 제공업체를 통합하기 위한 오픈소스 대안이지만, 미들웨어 통합 생태계가 상대적으로 덜 방대합니다.

Zilliz is the company behind Milvus, the open-source vector database, and offers Zilliz Cloud — a fully managed vector database service built for large-scale AI retrieval, RAG, and similarity search workloads.

무료 / 오픈소스Open-source request routing with built-in evaluations, but has a smaller community and fewer pre-built provider connectors.