LiteLLM 记录了 576,967 月访问量,月度环比增长为 +7.9%,定价为免费增值,定价请咨询。PromptLayer 记录了 85,899 月访问量,增长率为 -4.6%,定价为免费试用,定价请咨询。
| 维度 / 指标 | ![]() | ![]() |
|---|---|---|
| 官方域名 | litellm.ai | promptlayer.com |
| 定价模式 | 免费增值,定价请咨询 | 免费试用,定价请咨询 |
| 月访问量 | 57.7万 (576,967) | 8.59万 (85,899) |
| 月度环比流量变化 | +4.25万 (+7.9%) | -4176 (-4.6%) |
| 主要市场与份额 | 🇺🇸 美国 (27.9%) | 🇺🇸 美国 (10.9%) |
| 直接访问 / 月 | 22.9万 | 1.41万 |
| 用户评分 | 4.8 | 4.5 |
| 支持的平台 | 网站 | 网站 |

一个开源 AI 网关,接入 100 多个 LLM 提供商
用一套请求格式调用 100 多个提供商和 1,800 多个模型,切换模型无须修改应用代码。
为团队、项目或应用签发限定范围的密钥,设置月度支出上限,清晰看到谁在用、花了多少。
在多个部署间分配流量,失败时自动重试,某个模型或提供商宕机时回退到备选。
用面板查看请求量、Token 数与各模型成本,并支持日志与分析工具集成。

AI 工程团队的协作层
在可视化仪表盘中编辑、版本化、对比差异与回滚提示词,无需编码,让产品、市场和内容团队参与迭代,同时工程师掌控发布。
用人工与 AI 评分器运行基于数据集的测试,在提示词变更时触发回归评估,对新版本做历史回测,并跨模型比较提示词。
把生产追踪关联到生成它的确切提示词版本,并按功能、模型或用户检查失败案例、成本、延迟与 token 用量。
把提示词、工具调用、评估与日志集中在一处,构建、追踪并改进 Agent 工作流,让多步骤运行在上线前得到测试。

专项更强Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
专项更强Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
通过 API 网关提供自动模型故障转移与预算管理,但开源自定义性较低。

Unified LLM gateway with failover and analytics, but offers less robust open-source developer SDK support.

在互联环境中跟踪、评估并交付 AI 模型与智能体。

免费 / 开源面向生产级 AI 的智能体可观测性、评估与持续改进平台
提供进阶的企业级可观测性与安全防护工具,但缺乏 LiteLLM 那种轻量、自托管代理服务器的简便性。
免费 / 开源一个用来统一 LLM 供应商的开源替代方案,但中间件整合的生态系较不那么丰富。
免费 / 开源构建、模拟、评估并监控可自我改进的 AI 智能体

免费 / 开源Maxim AI is a platform for evaluating, testing, and monitoring AI applications, and the home of Bifrost, an open-source LLM gateway. It helps teams ship reliable AI features with tracing, evaluation, agent simulation, and production observability.
免费 / 开源Maxim AI is a platform for evaluating, testing, and monitoring AI applications, and the home of Bifrost, an open-source LLM gateway. It helps teams ship reliable AI features with tracing, evaluation, agent simulation, and production observability.