# LLM Gateway

依據 OpenAITools.app 於 2026-11-11 查驗的觀測資料，LLM Gateway（llmgateway.io）是收錄於 AI API 的 AI 平台，每月產生 16.84萬次造訪，月流量變化量為 -2.85萬（-14.5%）。其主要地理市場為南韓（流量佔比 18.1%），並採用免費增值、需聯絡報價定價模式。依每月流量計算的主要競爭替代方案包括 OpenRouter（每月 1994.14萬次造訪），LiteLLM（每月 57.7萬次造訪），Portkey（每月 19.57萬次造訪）。

一個相容 OpenAI 的 API，路由、監控並管控 250+ 個大模型

## 主要觀測資料與規格

| 指標 | 數值 |
| :--- | :--- |
| 工具名稱 | LLM Gateway |
| 代稱 | llm-gateway |
| Status | active |
| Origin | open_source |
| Maintenance | active |
| 官方網域 | llmgateway.io |
| 網站網址 | https://llmgateway.io |
| 分類 | AI API, AI 開發者工具, Large Language Models (LLMs), AI 模型, 開源 AI 模型 |
| 定價模式 | 免費增值、需聯絡報價 |
| 每月造訪次數 | 168,426 |
| 月流量變化 | -28,456 |
| 月成長率 | -14.5% |
| 主要市場 | 南韓 |
| 市佔率 | 18.1% |
| 直接造訪 | 98,622 |
| 自然搜尋造訪 | — |
| 社群造訪 | — |
| 推薦流量造訪 | 15,904 |
| 電子郵件造訪 | 494 |
| 評論分數 | 4.6 |
| 收藏數 | 0 |
| 支援平台 | 網站 |
| 帳務平台 |  |
| 屬性 | 價格: 免費增值; 價格: 需聯絡報價; 功能: 網站 |
| 標籤 | LLM 閘道, API 管理, AI 基礎設施, 開源, 統一 API, 多供應商 LLM, 使用情形分析, 效能監控, API金鑰管理, 可自架, 雲端部署, 模型編排, AI 代理, LLM 路由 |

## 總覽

LLM Gateway 解決的核心問題是供應商碎片化：各自獨立的 API 金鑰、各自獨立的控制台，以及一切換模型就會壞掉的程式碼。接入閘道後，單一請求可被路由到 40+ 家供應商的 250+ 個模型，切換模型往往只需改一個字串。它提供 AI SDK provider，並相容於任意 OpenAI SDK、cURL 或語言用戶端，支援 chat completions、responses 與圖像生成等端點。

除路由之外，該閘道還是一個控制平面。團隊可統一管理金鑰、為每個 API 金鑰或成員設定支出上限、在某個供應商出錯或限流時於同一請求內自動改試另一家供應商以達成容錯移轉，並透過護欄（如提示注入偵測與 PII 去識別化）在供應商看到之前攔截敏感資料。控制台涵蓋請求數、token 數、每 1K token 成本、延遲、錯誤率、快取命中率以及按模型／供應商的細分，企業版還提供稽核日誌與 SSO。

部署方式彈性：可由廠商以帶 SLA 的託管雲方式運行，也可透過 Docker 或 Kubernetes 自行託管在自己的基礎設施上，這對重視隱私的團隊尤其有吸引力。核心閘道在 AGPLv3 下開源，企業功能原始碼可用。公司表示已通過 SOC 2 Type II 合規認證，價格從自帶金鑰的免費層開始，按量付費額度在小額儲值上加價，企業方案為客製報價。

## 價格與方案

LLM Gateway 採用免費增值模式。使用自己的供應商金鑰進行路由與分析永久免費且無需信用卡；按量付費額度按供應商標價計費並收取少量儲值加價；開源核心可免費自行託管；企業版在客製報價下提供 SSO、稽核日誌、護欄、99.9% SLA 與供應商策略管控。

## 關鍵功能與能力

- **統一的 OpenAI 相容 API:** 保留現有 OpenAI SDK 程式碼，只需修改 base URL，即可透過一個整合存取 40+ 家供應商的 250+ 個模型。
- **自動容錯移轉與路由:** 當某個供應商出錯、逾時或限流時，閘道可在同一請求內自動在另一家供應商上重試最多兩次，讓你的應用仍能得到回應。
- **成本、延遲與支出分析:** 追蹤請求、token、總支出與每 1K token 平均成本，並提供按模型、按供應商的細分、快取命中率與錯誤監控。
- **護欄與金鑰安全:** 偵測提示注入、越獄嘗試、PII、卡號與金鑰，並可阻擋、去識別化或告警；在一個帶作用域的儀表板中管理所有供應商金鑰。
- **自行託管或託管部署:** 在自己的 Docker 或 Kubernetes 基礎設施上運行 AGPLv3 開源閘道，或交由廠商以帶 SLA 的託管雲運行。

## 主要使用情境

- **交付多供應商 AI 功能 (應用開發者):** 只呼叫一個端點，隨品質、價格與可用性變化自由切換模型或供應商，避免被單一廠商鎖定。
- **管控並歸因 LLM 支出 (平台或財務團隊):** 為金鑰與成員設定支出上限，按專案、模型與供應商拆分成本，在帳單到來前發現異常高消耗。
- **加入護欄與稽核軌跡 (重視安全的工程團隊):** 在請求抵達供應商之前去識別化 PII 與金鑰，並保留金鑰、角色與策略變更的稽核日誌以符合合規。
- **讓推論流量留在自有網路 (自行託管團隊):** 把開源閘道部署在自己的基礎設施上，讓提示與回應始終處於你的控制之下。

## 優勢

- 一個 API 金鑰、一套整合即可取代一堆供應商 SDK 與控制台
- AGPLv3 開源核心並提供真實可行的自行託管路徑，而不只是託管 SaaS
- 可觀測性深厚：成本、token、延遲、錯誤、快取命中與按專案細分
- 內建容錯移轉與支出上限位於閘道而非應用程式碼中

## 限制

- 最有價值的治理功能——護欄、SSO、稽核日誌與供應商策略路由——僅限企業版
- 按量付費額度在供應商標價上有少量加價，高用量使用者可能更傾向使用自己的金鑰
- 閘道增加了一跳和需要維運的元件，對只用單一模型的團隊略顯多餘

## 常見問題

### 我需要修改應用程式碼嗎？
通常不需要。閘道暴露相容 OpenAI 的 API，多數團隊保留現有 OpenAI SDK 程式碼，只需修改 base URL 和 API 金鑰。

### 支援哪些供應商和模型？
閘道可路由到 40+ 家供應商的 250+ 個模型，包括 OpenAI、Anthropic、Google、xAI、DeepSeek 等，你可以在網站上瀏覽完整模型目錄。

### 我可以自行託管嗎？
可以。核心閘道在 AGPLv3 下開源，可透過 Helm chart 在自己的 Docker 或 Kubernetes 基礎設施上運行；企業功能需要授權金鑰。

### 有免費方案嗎？
有。使用自己的供應商金鑰進行路由與分析免費且無需信用卡；如果你不想自己管理供應商金鑰，也可使用按量付費額度。

### LLM Gateway 的每月流量與成長趨勢為何？
LLM Gateway 目前每月有 16.84萬次造訪，月流量變化為 -2.85萬（成長率 -14.5%）。其主要來源市場為南韓（佔比 18.1%），其中包含每月 9.86萬次直接造訪與每月 — 次自然搜尋造訪。

### LLM Gateway 是免費的嗎？其定價模式為何？
LLM Gateway 採用免費增值、需聯絡報價定價模式。LLM Gateway 採用免費增值模式。使用自己的供應商金鑰進行路由與分析永久免費且無需信用卡；按量付費額度按供應商標價計費並收取少量儲值加價；開源核心可免費自行託管；企業版在客製報價下提供 SSO、稽核日誌、護欄、99.9% SLA 與供應商策略管控。支援的帳務與結帳平台包括：未列出。

### 2026 年最佳的 LLM Gateway 替代方案有哪些？
依據 OpenAITools.app 的分類流量與功能契合度，LLM Gateway 的前五大替代方案為：1. OpenRouter（每月 1994.14萬次造訪）; 2. LiteLLM（每月 57.7萬次造訪）; 3. Portkey（每月 19.57萬次造訪）; 4. OrcaRouter（每月 97.53萬次造訪）; 5. ZenMux（每月 44.44萬次造訪）。

### LLM Gateway 支援哪些平台與核心 AI 能力？
LLM Gateway 分類於 AI API, AI 開發者工具, Large Language Models (LLMs), AI 模型，支援以下平台：網站，其核心能力標籤包括：LLM 閘道, API 管理, AI 基礎設施, 開源, 統一 API, 多供應商 LLM。

## 替代方案

| 工具名稱 | 每月造訪次數 | 定價模式 | 比較 |
| :--- | :--- | :--- | :--- |
| [OpenRouter](https://openaitools.app/tw/tool/openrouter-ai) | 19,941,437 | 付費 | [比較](https://openaitools.app/tw/compare/llm-gateway-vs-openrouter-ai) |
| [LiteLLM](https://openaitools.app/tw/tool/litellm) | 576,967 | 免費增值、需聯絡報價 | [比較](https://openaitools.app/tw/compare/litellm-vs-llm-gateway) |
| [Portkey](https://openaitools.app/tw/tool/portkey-ai) | 195,650 | 免費增值、付費、需聯絡報價 | [比較](https://openaitools.app/tw/compare/llm-gateway-vs-portkey-ai) |
| [OrcaRouter](https://openaitools.app/tw/tool/orcarouter) | 975,300 | 免費增值 | [比較](https://openaitools.app/tw/compare/llm-gateway-vs-orcarouter) |
| [ZenMux](https://openaitools.app/tw/tool/zenmux) | 444,394 | 免費增值、付費 | [比較](https://openaitools.app/tw/compare/llm-gateway-vs-zenmux) |
| [Helicone](https://openaitools.app/tw/tool/helicone-ai) | 57,187 | 免費增值、免費試用、付費、需聯絡報價、免費 | [比較](https://openaitools.app/tw/compare/helicone-ai-vs-llm-gateway) |
| [Manifest](https://openaitools.app/tw/tool/manifest) | 54,135 | 免費 | [比較](https://openaitools.app/tw/compare/llm-gateway-vs-manifest) |
| [APIPark](https://openaitools.app/tw/tool/apipark) | 30,742 | 免費增值、需聯絡報價 | [比較](https://openaitools.app/tw/compare/apipark-vs-llm-gateway) |
| [Respan](https://openaitools.app/tw/tool/respan) | 91,503 | 免費增值 | [比較](https://openaitools.app/tw/compare/llm-gateway-vs-respan) |
| [Eden AI](https://openaitools.app/tw/tool/eden-ai) | 173,828 | 付費、需聯絡報價 | [比較](https://openaitools.app/tw/compare/eden-ai-vs-llm-gateway) |
| [AiHubMix](https://openaitools.app/tw/tool/aihubmix) | 238,455 | 需聯絡報價 | [比較](https://openaitools.app/tw/compare/aihubmix-vs-llm-gateway) |

---
來源：https://openaitools.app/tw/tool/llm-gateway