LiteLLM 记录了 576,967 月访问量,月度环比增长为 +7.9%,定价为免费增值,定价请咨询。OpenLIT 记录了 6,028 月访问量,增长率为 -18.3%,定价为免费。

开源、原生 OpenTelemetry 的 AI 智能体可观测性与 Harness 工程平台
| 维度 / 指标 | ![]() | ![]() |
|---|---|---|
| 官方域名 | litellm.ai | openlit.io |
| 定价模式 | 免费增值,定价请咨询 | 免费 |
| 月访问量 | 57.7万 (576,967) | 6028 (6,028) |
| 月度环比流量变化 | +4.25万 (+7.9%) | -1353 (-18.3%) |
| 主要市场与份额 | 🇺🇸 美国 (27.9%) | 🇺🇸 美国 (53.6%) |
| 直接访问 / 月 | 22.9万 | 2375 |
| 用户评分 | 4.8 | 4.7 |
| 支持的平台 | 网站 | 网站 |

一个开源 AI 网关,接入 100 多个 LLM 提供商
用一套请求格式调用 100 多个提供商和 1,800 多个模型,切换模型无须修改应用代码。
为团队、项目或应用签发限定范围的密钥,设置月度支出上限,清晰看到谁在用、花了多少。
在多个部署间分配流量,失败时自动重试,某个模型或提供商宕机时回退到备选。
用面板查看请求量、Token 数与各模型成本,并支持日志与分析工具集成。

开源、原生 OpenTelemetry 的 AI 智能体可观测性与 Harness 工程平台
为每一次 LLM 调用、工具调用、检索和智能体步骤捕获 OpenTelemetry 链路与指标,并可按用户、会话、成本、延迟或自定义元数据筛选。
对生产流量或实验数据使用 LLM-as-a-judge、启发式检查或人工审核打分,持续衡量准确率、相关性与安全性。
在 Prompt Hub 中集中管理和版本化提示词,无需发布新的应用代码即可部署、回滚和更新提示词。
将 OpenAI、Anthropic 及其他 LLM API 密钥存放在代码库之外的加密保险库中,并支持轮换。
免费 / 开源在本地或云端运行和构建开源 AI 模型

专项更强Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
专项更强Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
通过 API 网关提供自动模型故障转移与预算管理,但开源自定义性较低。

Unified LLM gateway with failover and analytics, but offers less robust open-source developer SDK support.

免费 / 开源面向生产级 AI 的智能体可观测性、评估与持续改进平台
免费 / 开源一个用来统一 LLM 供应商的开源替代方案,但中间件整合的生态系较不那么丰富。
免费 / 开源构建、模拟、评估并监控可自我改进的 AI 智能体

免费 / 开源Maxim AI is a platform for evaluating, testing, and monitoring AI applications, and the home of Bifrost, an open-source LLM gateway. It helps teams ship reliable AI features with tracing, evaluation, agent simulation, and production observability.
免费 / 开源Maxim AI is a platform for evaluating, testing, and monitoring AI applications, and the home of Bifrost, an open-source LLM gateway. It helps teams ship reliable AI features with tracing, evaluation, agent simulation, and production observability.