# LiteLLM 依據 OpenAITools.app 於 2026-11-11 查驗的觀測資料，LiteLLM（litellm.ai）是收錄於 AI API 的 AI 平台，每月產生 57.7萬次造訪，月流量變化量為 +4.25萬（+7.9%）。其主要地理市場為美國（流量佔比 27.9%），並採用免費增值、需聯絡報價定價模式。依每月流量計算的主要競爭替代方案包括 OpenRouter（每月 1994.14萬次造訪），Portkey（每月 19.57萬次造訪），LLM Gateway（每月 16.84萬次造訪）。 一個開源 AI 閘道，接入 100 多個 LLM 供應商 ## 主要觀測資料與規格 | 指標 | 數值 | | :--- | :--- | | 工具名稱 | LiteLLM | | 代稱 | litellm | | Status | active | | Origin | open_source | | Maintenance | active | | 官方網域 | litellm.ai | | 網站網址 | https://litellm.ai | | 分類 | AI API, Large Language Models (LLMs), AI 開發者工具, 開源 AI 模型 | | 定價模式 | 免費增值、需聯絡報價 | | 每月造訪次數 | 576,967 | | 月流量變化 | 42,483 | | 月成長率 | +7.9% | | 主要市場 | 美國 | | 市佔率 | 27.9% | | 直接造訪 | 228,967 | | 自然搜尋造訪 | — | | 社群造訪 | — | | 推薦流量造訪 | 61,968 | | 電子郵件造訪 | 2,778 | | 評論分數 | 4.8 | | 收藏數 | 5 | | 支援平台 | 網站 | | 帳務平台 | | | 屬性 | 功能: 網站; 價格: 需聯絡報價; 價格: 免費 | | 標籤 | LLM 閘道, OpenAI 代理, LLM 管理, 成本追蹤, 負載平衡, API 管理, 模型存取, 可觀測性, 提示詞工程 | ## 總覽 LiteLLM 是專為消除 LLM 應用廠商鎖定而設計的開源 AI 閘道與 Python SDK。透過該 SDK，你可以用同一套 OpenAI 風格的請求格式呼叫 OpenAI、Anthropic、Google Vertex AI、Bedrock、Mistral、Azure 及數十家其他供應商的模型，因此切換模型只需改設定，無須重寫程式碼。同一專案還提供 AI 閘道（常被稱為代理），把這種抽象變成全組織共享的服務。 閘道是多數平台團隊真正受益的地方。它為團隊、專案或應用簽發限定範圍的虛擬金鑰，按金鑰追蹤預算內的支出，施加速率限制（TPM 與 RPM），並提供請求量、Token 用量與各模型成本的可視化面板。路由能力包括跨部署負載平衡、供應商故障時自動回退、重試與基於預算的重路由，並配有 PII 去識別化、提示注入偵測與機密外洩偵測等護欄。 該專案是真正的開源專案，程式碼託管於 GitHub（BerriAI/litellm），社群非常活躍。企業版功能增加 SSO、稽核日誌，並支援透過同一閘道接入代理程式與 MCP 伺服器。值得一提的是，LiteLLM 對新模型提供「零日支援」，新模型一發布即可接入；同時也能把自託管、微調與內部模型放在同一金鑰之後統一服務。官網列出的客戶包括 NVIDIA、Netflix、Okta、Lemonade 與 AT&T。 ## 價格與方案 免費增值且開源。自託管的 LiteLLM 閘道與 SDK 在開源授權下免費使用，並可透過免費額度快速上手。含 SSO、稽核日誌、SLA 與進階支援的企業方案需聯絡業務取得報價。 ## 關鍵功能與能力 - **面向 100+ LLM 的 OpenAI 相容 API:** 用一套請求格式呼叫 100 多個供應商與 1,800 多個模型，切換模型無須修改應用程式碼。 - **虛擬金鑰、團隊與預算:** 為團隊、專案或應用簽發限定範圍的金鑰，設定每月支出上限，清楚看到誰在用、花了多少。 - **路由、負載平衡與回退:** 在多個部署間分配流量，失敗時自動重試，某個模型或供應商故障時回退到備選。 - **可觀測性與成本追蹤:** 用面板查看請求量、Token 數與各模型成本，並支援日誌與分析工具整合。 - **護欄與策略控制:** 接入 PII 去識別化、提示注入偵測與機密外洩偵測護欄，把策略集中管理而非散落在各應用中。 ## 主要使用情境 - **建置公司級 LLM 閘道 (AI 平台工程師):** 為每位開發者提供統一 API 與登入入口，集中管理金鑰、預算與存取權限，讓平台團隊不再成為瓶頸。 - **不改程式碼切換多家供應商 (後端開發者):** 用 OpenAI SDK 開發，只需改一個設定值即可在 OpenAI、Anthropic、Gemini 或自託管模型之間切換。 - **LLM 成本治理 (FinOps 或工程管理者):** 依團隊與模型追蹤支出，在超支前設定預算上限，並在品質允許時把昂貴任務路由到更便宜的模型。 - **護欄與稽核追蹤 (安全與合規負責人):** 在閘道層強制 PII 去識別化與提示注入檢查，並集中記錄哪個模型處理了哪些請求。 ## 優勢 - 真正的開源專案，GitHub 社群龐大且支援自託管 - 供應商覆蓋極廣，並提供 OpenAI 相容介面 - 企業級管控：虛擬金鑰、預算、速率限制與稽核日誌 - 新模型零日支援，供應商故障時可輕鬆回退 ## 限制 - 自託管意味著部署、升級與可用性都由你自己負責 - 免費開源版與企業版在功能深度上存在差異 - 設定項繁多，小型專案可能覺得過於複雜 ## 常見問題 ### LiteLLM 究竟是什麼？ LiteLLM 是一個專案中的兩件事：讓開發者用 OpenAI 格式呼叫 100 多個 LLM 的 Python SDK，以及把這種能力變成全組織共享、可治理入口的 AI 閘道（代理），提供金鑰、預算、路由與日誌功能。 ### LiteLLM 免費嗎？ SDK 與自託管閘道是開源且可免費執行的，並有免費額度協助快速上手。SSO、稽核日誌與 SLA 等企業功能則需聯絡業務購買付費方案。 ### 支援哪些供應商與模型？ 專案宣稱支援 100 多個供應商、1,800 多個模型與 140 多個供應商整合，涵蓋 OpenAI、Anthropic、Google Vertex AI、AWS Bedrock、Mistral、Azure 等，並支援自託管與微調的內部模型。 ### 它有助於控制 LLM 成本嗎？ 有幫助。你可以依金鑰、團隊或標籤設定預算，依模型查看支出明細，並把請求路由到更便宜的模型或回退部署，已有客戶藉此大幅降低 AI 任務成本。 ### LiteLLM 的每月流量與成長趨勢為何？ LiteLLM 目前每月有 57.7萬次造訪，月流量變化為 +4.25萬（成長率 +7.9%）。其主要來源市場為美國（佔比 27.9%），其中包含每月 22.9萬次直接造訪與每月 — 次自然搜尋造訪。 ### LiteLLM 是免費的嗎？其定價模式為何？ LiteLLM 採用免費增值、需聯絡報價定價模式。免費增值且開源。自託管的 LiteLLM 閘道與 SDK 在開源授權下免費使用，並可透過免費額度快速上手。含 SSO、稽核日誌、SLA 與進階支援的企業方案需聯絡業務取得報價。支援的帳務與結帳平台包括：未列出。 ### 2026 年最佳的 LiteLLM 替代方案有哪些？ 依據 OpenAITools.app 的分類流量與功能契合度，LiteLLM 的前五大替代方案為：1. OpenRouter（每月 1994.14萬次造訪）; 2. Portkey（每月 19.57萬次造訪）; 3. LLM Gateway（每月 16.84萬次造訪）; 4. Helicone（每月 5.72萬次造訪）; 5. OrcaRouter（每月 97.53萬次造訪）。 ### LiteLLM 支援哪些平台與核心 AI 能力？ LiteLLM 分類於 AI API, Large Language Models (LLMs), AI 開發者工具, 開源 AI 模型，支援以下平台：網站，其核心能力標籤包括：LLM 閘道, OpenAI 代理, LLM 管理, 成本追蹤, 負載平衡, API 管理。 ## 替代方案 | 工具名稱 | 每月造訪次數 | 定價模式 | 比較 | | :--- | :--- | :--- | :--- | | [OpenRouter](https://openaitools.app/tw/tool/openrouter-ai) | 19,941,437 | 付費 | [比較](https://openaitools.app/tw/compare/litellm-vs-openrouter-ai) | | [Portkey](https://openaitools.app/tw/tool/portkey-ai) | 195,650 | 免費增值、付費、需聯絡報價 | [比較](https://openaitools.app/tw/compare/litellm-vs-portkey-ai) | | [LLM Gateway](https://openaitools.app/tw/tool/llm-gateway) | 168,426 | 免費增值、需聯絡報價 | [比較](https://openaitools.app/tw/compare/litellm-vs-llm-gateway) | | [Helicone](https://openaitools.app/tw/tool/helicone-ai) | 57,187 | 免費增值、免費試用、付費、需聯絡報價、免費 | [比較](https://openaitools.app/tw/compare/helicone-ai-vs-litellm) | | [OrcaRouter](https://openaitools.app/tw/tool/orcarouter) | 975,300 | 免費增值 | [比較](https://openaitools.app/tw/compare/litellm-vs-orcarouter) | | [Eden AI](https://openaitools.app/tw/tool/eden-ai) | 173,828 | 付費、需聯絡報價 | [比較](https://openaitools.app/tw/compare/eden-ai-vs-litellm) | | [Respan](https://openaitools.app/tw/tool/respan) | 91,503 | 免費增值 | [比較](https://openaitools.app/tw/compare/litellm-vs-respan) | | [Manifest](https://openaitools.app/tw/tool/manifest) | 54,135 | 免費 | [比較](https://openaitools.app/tw/compare/litellm-vs-manifest) | | [Together AI](https://openaitools.app/tw/tool/together-ai) | 1,645,930 | 免費增值、付費 | [比較](https://openaitools.app/tw/compare/litellm-vs-together-ai) | | [ZenMux](https://openaitools.app/tw/tool/zenmux) | 444,394 | 免費增值、付費 | [比較](https://openaitools.app/tw/compare/litellm-vs-zenmux) | ## 社群 面向 100+ 大模型的 AI 閘道，提供模型存取與費用追蹤，全部透過 OpenAI 相容端點實現。 [liteLLM](https://discord.com/invite/wuPM9dRgDw) --- 來源：https://openaitools.app/tw/tool/litellm