LiteLLM는 월간 방문 576,967, 전월 대비 성장률 +7.9%, 무료+유료, 가격 문의 가격 모델을 기록합니다. Mesa는 월간 방문 6,563, 성장률 +48.4%, 무료+유료 가격 모델을 기록합니다.
100개 이상의 LLM 제공자를 잇는 오픈소스 AI 게이트웨이
| 항목 / 지표 | |  |
|---|---|---|
| 공식 도메인 | litellm.ai | mesa.dev |
| 가격 모델 | 무료+유료, 가격 문의 | 무료+유료 |
| 월간 방문 수 | 57.7만 (576,967) | 6.56천 (6,563) |
| 전월 대비 트래픽 변화량 | +4.25만 (+7.9%) | +2.14천 (+48.4%) |
| 주요 시장 및 점유율 | 🇺🇸 미국 (27.9%) | 🇺🇸 미국 (78.7%) |
| 월 직접 방문 수 | 22.9만 | 2.57천 |
| 사용자 평점 | 4.8 | 4.3 |
| 지원 플랫폼 | 웹사이트 | 웹사이트 |
100개 이상의 LLM 제공자를 잇는 오픈소스 AI 게이트웨이
하나의 요청 형식으로 100개 이상 제공자와 1,800개 이상 모델을 호출하고 앱 코드 수정 없이 모델을 교체합니다.
팀·프로젝트·앱별로 범위가 제한된 키를 발급하고 월 지출 한도를 설정해 누가 얼마나 쓰는지 확인합니다.
여러 배포에 트래픽을 분산하고 실패 시 재시도하며, 모델이나 제공자 장애 시 자동으로 대체 경로로 전환합니다.
요청량, 토큰 수, 모델별 비용을 대시보드로 보여주고 로그·분석 도구 연동을 지원합니다.
AI 에이전트를 위한 버전 관리 파일 시스템
100% POSIX 호환 마운트로 에이전트와 샌드박스가 익숙한 Unix 도구를 사용할 수 있으며, 영속성, 동기화, 이력은 하위에서 투명하게 처리됩니다.
밀리초 단위로 워크스페이스를 포크해 격리된 브랜치에서 수십 개 에이전트를 실행하고, 파일 잠금 없이 최선의 결과를 선택합니다.
매 단계에서 파일 시스템 전체를 스냅샷하고, 에이전트가 벗어났을 때 API 호출 한 번으로 임의의 과거 상태로 되돌립니다.
어떤 에이전트든 일시 중지해 리뷰를 받고, 승인 큐와 정책 게이트를 구축한 뒤 동일한 워크스페이스 상태에서 재개합니다.
즉시 액세스할 수 있는 대규모 호스팅 모델 카탈로그를 제공하지만, 자체 호스팅 대신 타사 플랫폼을 신뢰해야 합니다.
특화 강점Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
특화 강점Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
API 게이트웨이를 통해 자동 모델 장애 조치 및 예산 거버넌스를 제공하지만, 오픈소스 커스터마이징은 상대적으로 적습니다.
API 게이트웨이를 통해 자동 모델 장애 조치 및 예산 거버넌스를 제공하지만, 오픈소스 커스터마이징은 상대적으로 적습니다.
엔드투엔드 암호화된 고신뢰 프런티어 추론
Unified LLM gateway with failover and analytics, but offers less robust open-source developer SDK support.
무료 / 오픈소스Mastra is an open-source TypeScript framework for building, deploying, and observing AI agents and workflows. It gives JavaScript developers typed agents, durable workflows, memory, MCP tool support, and built-in observability so prototypes can scale into production.
무료 / 오픈소스Mastra is an open-source TypeScript framework for building, deploying, and observing AI agents and workflows. It gives JavaScript developers typed agents, durable workflows, memory, MCP tool support, and built-in observability so prototypes can scale into production.
Pinecone is a managed vector database and AI knowledge platform for building retrieval-augmented generation (RAG), semantic search, and agent memory. It stores vector embeddings at scale, makes writes searchable within seconds with no index tuning, and keeps p99 latency steady as data grows. Pinecone powers products for more than 10,000 customers and over a million developers worldwide.
Pinecone is a managed vector database and AI knowledge platform for building retrieval-augmented generation (RAG), semantic search, and agent memory. It stores vector embeddings at scale, makes writes searchable within seconds with no index tuning, and keeps p99 latency steady as data grows. Pinecone powers products for more than 10,000 customers and over a million developers worldwide.
