LiteLLM 每月有 576,967 次造訪,月增率 +7.9%,定價模式為免費增值、需聯絡報價。OpenLIT 每月有 6,028 次造訪,成長率 -18.3%,定價模式為免費。

開源、原生 OpenTelemetry 的 AI 代理可觀測性與 Harness 工程平台
| 面向/指標 | ![]() | ![]() |
|---|---|---|
| 官方網域 | litellm.ai | openlit.io |
| 定價模式 | 免費增值、需聯絡報價 | 免費 |
| 每月造訪次數 | 57.7萬 (576,967) | 6028 (6,028) |
| 月流量變化量 | +4.25萬 (+7.9%) | -1353 (-18.3%) |
| 主要市場與市佔 | 🇺🇸 美國 (27.9%) | 🇺🇸 美國 (53.6%) |
| 每月直接造訪 | 22.9萬 | 2375 |
| 使用者評分 | 4.8 | 4.7 |
| 支援平台 | 網站 | 網站 |

一個開源 AI 閘道,接入 100 多個 LLM 供應商
用一套請求格式呼叫 100 多個供應商與 1,800 多個模型,切換模型無須修改應用程式碼。
為團隊、專案或應用簽發限定範圍的金鑰,設定每月支出上限,清楚看到誰在用、花了多少。
在多個部署間分配流量,失敗時自動重試,某個模型或供應商故障時回退到備選。
用面板查看請求量、Token 數與各模型成本,並支援日誌與分析工具整合。

開源、原生 OpenTelemetry 的 AI 代理可觀測性與 Harness 工程平台
為每一次 LLM 呼叫、工具呼叫、檢索與代理步驟擷取 OpenTelemetry 鏈路與指標,並可依使用者、工作階段、成本、延遲或自訂中繼資料篩選。
對生產流量或實驗資料使用 LLM-as-a-judge、啟發式檢查或人工審核評分,持續衡量準確率、相關性與安全性。
在 Prompt Hub 集中管理與版本化提示詞,無需發布新的應用程式碼即可部署、回滾與更新提示詞。
將 OpenAI、Anthropic 及其他 LLM API 金鑰存放在程式庫之外的加密保險庫中,並支援輪換。
免費 / 開源在本機或雲端執行與打造開源 AI 模型

專項更強Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
專項更強Hosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
透過 API 閘道器提供自動模型備援切換與預算管理,但開源自訂性較低。

Unified LLM gateway with failover and analytics, but offers less robust open-source developer SDK support.

免費 / 開源面向生產級 AI 的代理可觀測性、評估與持續改進平台
免費 / 開源一個用來統一 LLM 供應商的開源替代方案,但中介軟體整合的生態系較不那麼豐富。
免費 / 開源打造、模擬、評估並監控能自我改進的 AI 代理

免費 / 開源Maxim AI is a platform for evaluating, testing, and monitoring AI applications, and the home of Bifrost, an open-source LLM gateway. It helps teams ship reliable AI features with tracing, evaluation, agent simulation, and production observability.
免費 / 開源Maxim AI is a platform for evaluating, testing, and monitoring AI applications, and the home of Bifrost, an open-source LLM gateway. It helps teams ship reliable AI features with tracing, evaluation, agent simulation, and production observability.