무료 / 오픈소스DeepSeek-V4와 R1으로 구동되는, 극히 낮은 토큰 비용의 고효율 오픈웨이트·호스팅 추론 AI.

공유 GPU 클러스터로 오픈 모델을 토큰이 아닌 정액제로 사용
| 항목 / 지표 | ![]() | ![]() |
|---|---|---|
| 공식 도메인 | litellm.ai | nan.builders |
| 가격 모델 | 무료+유료, 가격 문의 | Subscription |
| 월간 방문 수 | 57.7만 (576,967) | 4.72만 (47,153) |
| 전월 대비 트래픽 변화량 | +4.25만 (+7.9%) | +7.41천 (+18.7%) |
| 주요 시장 및 점유율 | 🇺🇸 미국 (27.9%) | 🇪🇸 스페인 (88.9%) |
| 월 직접 방문 수 | 22.9만 | 2.78만 |
| 사용자 평점 | 4.8 | 4.4 |
| 지원 플랫폼 | 웹사이트 | 웹사이트 |

100개 이상의 LLM 제공자를 잇는 오픈소스 AI 게이트웨이
하나의 요청 형식으로 100개 이상 제공자와 1,800개 이상 모델을 호출하고 앱 코드 수정 없이 모델을 교체합니다.
팀·프로젝트·앱별로 범위가 제한된 키를 발급하고 월 지출 한도를 설정해 누가 얼마나 쓰는지 확인합니다.
여러 배포에 트래픽을 분산하고 실패 시 재시도하며, 모델이나 제공자 장애 시 자동으로 대체 경로로 전환합니다.
요청량, 토큰 수, 모델별 비용을 대시보드로 보여주고 로그·분석 도구 연동을 지원합니다.

공유 GPU 클러스터로 오픈 모델을 토큰이 아닌 정액제로 사용
개인 API 키로 기존 SDK, 에이전트, 코딩 도구를 NaN 엔드포인트로 향하게 하면 기존 코드를 거의 그대로 사용할 수 있습니다.
회원 플랜에 주기별 크레딧이 포함되고 자체 호스팅 모델은 크레딧을 소모하지 않아, 실험을 많이 해도 비용이 선형으로 늘지 않습니다.
대화·추론·비전 모델에 임베딩, 리랭킹, Kokoro TTS, Whisper STT, FLUX와 Qwen-Image 이미지 생성을 하나의 API 뒤에 통합합니다.
추론은 EU에서 실행되며 프롬프트와 응답을 기록하지 않습니다. 코드는 학습에 쓰이지 않고 클러스터 지표만 보관됩니다.
무료 / 오픈소스DeepSeek-V4와 R1으로 구동되는, 극히 낮은 토큰 비용의 고효율 오픈웨이트·호스팅 추론 AI.

GPT-6 Astra, Sol, Luna와 실시간 멀티모달 에이전트를 배포하기 위한 엔터프라이즈 개발자 플랫폼 및 API.
무료 / 오픈소스ModelScope (魔搭社区) is an open-source AI community and model service platform that hosts thousands of pretrained models, datasets, and ready-to-run demos, backed by Alibaba Cloud infrastructure.
무료 / 오픈소스ModelScope (魔搭社区) is an open-source AI community and model service platform that hosts thousands of pretrained models, datasets, and ready-to-run demos, backed by Alibaba Cloud infrastructure.

무료 / 오픈소스Together AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
무료 / 오픈소스Together AI is the AI Native Cloud — a full-stack platform for running, fine-tuning and training open-source models. It spans serverless inference APIs, dedicated endpoints, GPU clusters, post-training and storage, all backed by in-house systems research.
API 게이트웨이를 통해 자동 모델 장애 조치 및 예산 거버넌스를 제공하지만, 오픈소스 커스터마이징은 상대적으로 적습니다.
API 게이트웨이를 통해 자동 모델 장애 조치 및 예산 거버넌스를 제공하지만, 오픈소스 커스터마이징은 상대적으로 적습니다.

Unified LLM gateway with failover and analytics, but offers less robust open-source developer SDK support.
무료 / 오픈소스200개 이상 모델 API, 에이전트 샌드박스, GPU 컴퓨팅을 하나의 클라우드에서