특화 강점DeepSeek-V4와 R1으로 구동되는, 극히 낮은 토큰 비용의 고효율 오픈웨이트·호스팅 추론 AI.
Groq는 월간 방문 3,987,936, 전월 대비 성장률 +10%, 유료 가격 모델을 기록합니다. LiteLLM는 월간 방문 576,967, 성장률 +7.9%, 무료+유료, 가격 문의 가격 모델을 기록합니다.

100개 이상의 LLM 제공자를 잇는 오픈소스 AI 게이트웨이
| 항목 / 지표 | ![]() | ![]() |
|---|---|---|
| 공식 도메인 | groq.com | litellm.ai |
| 가격 모델 | 유료 | 무료+유료, 가격 문의 |
| 월간 방문 수 | 398.79만 (3,987,936) | 57.7만 (576,967) |
| 전월 대비 트래픽 변화량 | +36.27만 (+10%) | +4.25만 (+7.9%) |
| 주요 시장 및 점유율 | 🇮🇳 인도 (19.3%) | 🇺🇸 미국 (27.9%) |
| 월 직접 방문 수 | 170.25만 | 22.9만 |
| 사용자 평점 | 4.7 | 4.8 |
| 지원 플랫폼 | 웹사이트 | 웹사이트 |

LPU와 LPX 기반 초고속 AI 추론
학습이 아닌 추론에 특화해 설계되고 매우 낮은 지연에 맞춘 자체 가속기입니다.
Llama, Mixtral, Gemma 등 인기 오픈 모델과 Whisper 음성 모델을 호스팅합니다.
일반적인 OpenAI 형식 요청과 폭넓게 호환되어 빠르게 통합할 수 있습니다.
Whisper 자동 음성 인식과 텍스트 음성 변환을 제공해 음성 앱에 활용할 수 있습니다.

100개 이상의 LLM 제공자를 잇는 오픈소스 AI 게이트웨이
하나의 요청 형식으로 100개 이상 제공자와 1,800개 이상 모델을 호출하고 앱 코드 수정 없이 모델을 교체합니다.
팀·프로젝트·앱별로 범위가 제한된 키를 발급하고 월 지출 한도를 설정해 누가 얼마나 쓰는지 확인합니다.
여러 배포에 트래픽을 분산하고 실패 시 재시도하며, 모델이나 제공자 장애 시 자동으로 대체 경로로 전환합니다.
요청량, 토큰 수, 모델별 비용을 대시보드로 보여주고 로그·분석 도구 연동을 지원합니다.
특화 강점DeepSeek-V4와 R1으로 구동되는, 극히 낮은 토큰 비용의 고효율 오픈웨이트·호스팅 추론 AI.

특화 강점Proprietary frontier models with powerful reasoning and multimodal features, but lacking open-weight model hosting and custom inference speeds.
특화 강점Proprietary frontier models with powerful reasoning and multimodal features, but lacking open-weight model hosting and custom inference speeds.

특화 강점Gemini 모델로 멀티모달 애플리케이션을 구축하기 위한 Google의 신속한 프로토타이핑 IDE이자 개발자 API 워크벤치.
특화 강점Gemini 모델로 멀티모달 애플리케이션을 구축하기 위한 Google의 신속한 프로토타이핑 IDE이자 개발자 API 워크벤치.
즉시 액세스할 수 있는 대규모 호스팅 모델 카탈로그를 제공하지만, 자체 호스팅 대신 타사 플랫폼을 신뢰해야 합니다.

특화 강점Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
특화 강점Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
API 게이트웨이를 통해 자동 모델 장애 조치 및 예산 거버넌스를 제공하지만, 오픈소스 커스터마이징은 상대적으로 적습니다.
API 게이트웨이를 통해 자동 모델 장애 조치 및 예산 거버넌스를 제공하지만, 오픈소스 커스터마이징은 상대적으로 적습니다.

Groq에 버금가는 초고속 토큰 생성 속도를 자랑하는 웨이퍼 스케일 하드웨어 클라우드이지만, 모델 카탈로그는 좀 더 전문화되어 있습니다.
오픈 모델을 위한 고처리량 서버리스 추론으로, 뛰어난 속도와 파인튜닝 기능, 넓은 API 호환성을 제공합니다.

수백 개의 오픈 웨이트 모델을 호스팅하는 저렴한 서버리스 추론 클라우드이지만, LPU 같은 전용 맞춤형 하드웨어 가속기는 없습니다.

Unified LLM gateway with failover and analytics, but offers less robust open-source developer SDK support.
서버리스 모델 API와 GPU 인스턴스를 제공하지만, 초저지연 텍스트 생성에는 상대적으로 덜 집중하는 AI 클라우드 플랫폼입니다.

무료 / 오픈소스Decentralized serverless inference platform hosting open-source models, offering lower costs but less enterprise reliability guarantees.