Auriko는 월간 방문 333, 전월 대비 성장률 -74.3%, 무료+유료, 무료 체험, 가격 문의 가격 모델을 기록합니다. Respan는 월간 방문 91,503, 성장률 -14.5%, 무료+유료 가격 모델을 기록합니다.

LLM 라우팅·관측성·FinOps를 위한 AI 컨트롤 플레인

LLM 라우팅·관측성·FinOps를 위한 AI 컨트롤 플레인
OpenAI, Anthropic, Google, DeepSeek 등 다양한 프로바이더를 하나의 교체 가능한 엔드포인트로 이용하면서 프로바이더 고유 기능도 유지합니다.
워크로드와 각 프로바이더의 가격·프롬프트 캐시 메커니즘의 상호작용을 모델링해 요청별로 가장 저렴한 프로바이더로 보냅니다.
비용, 지연, 처리량 또는 사용자 정의 목표로 최적화하고 P95 TPS 하한, 입력 비용 상한, ZDR 전용, 구조화 출력 전용 등의 제약을 설정할 수 있습니다.
프로바이더 이중화와 글로벌 분산 엣지로 지속적인 가용성과 낮은 TTFT를 제공합니다.

관측성과 평가 기능을 내장한 오픈소스 AI 게이트웨이
단일 API 키와 OpenAI 호환 엔드포인트로 OpenAI, Anthropic, Google, xAI, DeepSeek, Qwen 등 다양한 모델을 호출합니다.
기존 OpenAI, Anthropic, LangChain, Vercel AI SDK 코드를 유지하고 base URL만 변경합니다.
자동 폴백, 재시도, 공급자와 키를 넘나드는 로드 밸런싱으로 특정 공급자의 제한이나 장애 시에도 응답을 이어갑니다.
모든 호출이 기록되고 추적 가능하며, 평가 도구와 CLI로 터미널에서 로그와 트레이스를 조회할 수 있습니다.
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.
OrcaRouter is an OpenAI-compatible AI gateway that grades every prompt and routes it to the best-value model, then layers on failover, guardrails, an agent firewall, and compliance tooling for production AI.
무료 / 오픈소스OpenAI 호환 단일 API로 250+ 모델을 라우팅·모니터링·제어

무료 / 오픈소스Maxim AI is a platform for evaluating, testing, and monitoring AI applications, and the home of Bifrost, an open-source LLM gateway. It helps teams ship reliable AI features with tracing, evaluation, agent simulation, and production observability.
무료 / 오픈소스Maxim AI is a platform for evaluating, testing, and monitoring AI applications, and the home of Bifrost, an open-source LLM gateway. It helps teams ship reliable AI features with tracing, evaluation, agent simulation, and production observability.
무료 / 오픈소스안정적인 AI 앱을 위한 오픈소스 LLM 관측성과 AI 게이트웨이

무료 / 오픈소스에이전트 요청을 즉시 복구하는 오픈소스 LLM 게이트웨이

무료 / 오픈소스AI 플랫폼 팀을 위한 에이전트 관측성, 평가, 거버넌스