# LLM Gateway

根据 OpenAITools.app 于 2026-11-11 核对的流量数据，LLM Gateway（llmgateway.io）是一个收录在 AI API 下的 AI 平台，月访问量为 16.84万，月度环比流量变化为 -2.85万（-14.5%）。其主要地理市场为韩国（18.1% 流量份额），采用免费增值，定价请咨询定价模式。按月流量计算的主要竞争替代方案包括 OpenRouter（1994.14万次访问/月），LiteLLM（57.7万次访问/月），Portkey（19.57万次访问/月）。

一个兼容 OpenAI 的 API，路由、监控并管控 250+ 个大模型

## 关键遥测与规格

| 指标 | 数值 |
| :--- | :--- |
| 工具名称 | LLM Gateway |
| 标识 | llm-gateway |
| Status | active |
| Origin | open_source |
| Maintenance | active |
| 官方域名 | llmgateway.io |
| 官网地址 | https://llmgateway.io |
| 分类 | AI API, AI Developer Tools, Large Language Models (LLMs), AI Models, Open Source AI Models |
| 定价模式 | 免费增值，定价请咨询 |
| 月访问量 | 168,426 |
| 月度环比流量变化 | -28,456 |
| 月度环比增长率 | -14.5% |
| 主要市场 | 韩国 |
| 市场份额 | 18.1% |
| 直接访问量 | 98,622 |
| 自然搜索访问 | — |
| 社交访问 | — |
| 推荐访问 | 15,904 |
| 邮件访问 | 494 |
| 评价得分 | 4.6 |
| 收藏数 | 0 |
| 支持平台 | 网站 |
| 计费平台 |  |
| 属性 | 定价: 免费增值; 定价: 定价请咨询; 功能: 网站 |
| 标签 | LLM 网关, API 管理, AI 基础设施, 开源, 统一 API, 多服务商 LLM, 使用情况分析, 性能监控, API密钥管理, 可自托管, 云端部署, 模型编排, AI 代理, LLM 路由 |

## 概览

LLM Gateway 解决的核心问题是提供商碎片化：各自独立的 API 密钥、各自独立的控制台，以及一切换模型就会崩掉的代码。接入网关后，单个请求可被路由到 40+ 家提供商的 250+ 个模型，切换模型往往只需改一个字符串。它提供 AI SDK provider，并兼容任意 OpenAI SDK、cURL 或语言客户端，支持 chat completions、responses 和图像生成等端点。

除路由之外，该网关还是一个控制平面。团队可统一管理密钥、为每个 API 密钥或成员设置支出上限、在某个提供商报错或限流时于同一请求内自动重试另一家提供商实现故障转移，并通过护栏（如提示注入检测与 PII 脱敏）在提供商看到之前拦截敏感数据。控制台覆盖请求数、token 数、每 1K token 成本、延迟、错误率、缓存命中率以及按模型/提供商的细分，企业版还提供审计日志与 SSO。

部署方式灵活：可由厂商以带 SLA 的托管云方式运行，也可通过 Docker 或 Kubernetes 自托管在自己的基础设施上，这对于重视隐私的团队尤其有吸引力。核心网关在 AGPLv3 下开源，企业功能源码可用。公司表示已通过 SOC 2 Type II 合规认证，价格从自带密钥的免费层开始，按量付费额度在小额充值上加价，企业方案为定制报价。

## 定价与套餐

LLM Gateway 采用免费增值模式。使用自己的提供商密钥进行路由与分析永久免费且无需信用卡；按量付费额度按提供商标价计费并收取少量充值加价；开源核心可免费自托管；企业版在定制报价下提供 SSO、审计日志、护栏、99.9% SLA 与提供商策略管控。

## 关键功能与能力

- **统一的 OpenAI 兼容 API:** 保留现有 OpenAI SDK 代码，只需修改 base URL，即可通过一个集成访问 40+ 家提供商的 250+ 个模型。
- **自动故障转移与路由:** 当某个提供商报错、超时或限流时，网关可在同一请求内自动在另一家提供商上重试最多两次，让你的应用仍能得到响应。
- **成本、延迟与支出分析:** 跟踪请求、token、总支出与每 1K token 平均成本，并提供按模型、按提供商的细分、缓存命中率与错误监控。
- **护栏与密钥安全:** 检测提示注入、越狱尝试、PII、卡号与密钥，并可阻止、脱敏或告警；在一个带作用域的仪表盘中管理所有提供商密钥。
- **自托管或托管部署:** 在自己的 Docker 或 Kubernetes 基础设施上运行 AGPLv3 开源网关，或交由厂商以带 SLA 的托管云运行。

## 主要用例

- **交付多提供商 AI 功能 (应用开发者):** 只调用一个端点，随质量、价格和可用性变化自由切换模型或提供商，避免被单一厂商锁定。
- **管控并归因 LLM 支出 (平台或财务团队):** 为密钥和成员设置支出上限，按项目、模型和提供商拆分成本，在账单到来前发现异常高消耗。
- **加入护栏与审计轨迹 (重视安全的工程团队):** 在请求到达提供商之前脱敏 PII 与密钥，并保留密钥、角色和策略变更的审计日志以满足合规。
- **让推理流量留在自有网络 (自托管团队):** 把开源网关部署在自己的基础设施上，让提示与响应始终处于你的控制之下。

## 优势

- 一个 API 密钥、一套集成即可取代一堆提供商 SDK 与控制台
- AGPLv3 开源核心并提供真实可行的自托管路径，而不只是托管 SaaS
- 可观测性深厚：成本、token、延迟、错误、缓存命中与按项目细分
- 内置故障转移与支出上限位于网关而非应用代码中

## 局限

- 最有价值的治理功能——护栏、SSO、审计日志与提供商策略路由——仅限企业版
- 按量付费额度在提供商标价上有少量加价，高用量用户可能更倾向使用自己的密钥
- 网关增加了一跳和需要运维的组件，对只用单一模型的团队略显多余

## 常见问题

### 我需要修改应用代码吗？
通常不需要。网关暴露兼容 OpenAI 的 API，多数团队保留现有 OpenAI SDK 代码，只需修改 base URL 和 API 密钥。

### 支持哪些提供商和模型？
网关可路由到 40+ 家提供商的 250+ 个模型，包括 OpenAI、Anthropic、Google、xAI、DeepSeek 等，你可以在网站上浏览完整模型目录。

### 我可以自托管吗？
可以。核心网关在 AGPLv3 下开源，可通过 Helm chart 在自己的 Docker 或 Kubernetes 基础设施上运行；企业功能需要许可证密钥。

### 有免费方案吗？
有。使用自己的提供商密钥进行路由与分析免费且无需信用卡；如果你不想自己管理提供商密钥，也可使用按量付费额度。

### LLM Gateway 的月流量和增长趋势如何？
LLM Gateway 目前每月获得 16.84万访问量，月度环比流量变化为 -2.85万（增长率 -14.5%）。其主要来源市场是韩国（18.1% 份额），包括每月 9.86万次直接访问和每月 — 次自然搜索访问。

### LLM Gateway 免费吗？它的定价模式是什么？
LLM Gateway 采用免费增值，定价请咨询定价模式。LLM Gateway 采用免费增值模式。使用自己的提供商密钥进行路由与分析永久免费且无需信用卡；按量付费额度按提供商标价计费并收取少量充值加价；开源核心可免费自托管；企业版在定制报价下提供 SSO、审计日志、护栏、99.9% SLA 与提供商策略管控。支持的计费和结账平台包括：未列出。

### 2026 年 LLM Gateway 的最佳替代方案有哪些？
基于 OpenAITools.app 的分类流量和功能契合度，LLM Gateway 的前五个替代方案是：1. OpenRouter（1994.14万次访问/月）; 2. LiteLLM（57.7万次访问/月）; 3. Portkey（19.57万次访问/月）; 4. OrcaRouter（97.53万次访问/月）; 5. ZenMux（44.44万次访问/月）。

### LLM Gateway 支持哪些平台和核心 AI 能力？
LLM Gateway 被归类在 AI API, AI Developer Tools, Large Language Models (LLMs), AI Models 下，支持以下平台：网站，其核心能力标签包括：LLM 网关, API 管理, AI 基础设施, 开源, 统一 API, 多服务商 LLM。

## 替代工具

| 工具名称 | 月访问量 | 定价模式 | 对比 |
| :--- | :--- | :--- | :--- |
| [OpenRouter](https://openaitools.app/zh/tool/openrouter-ai) | 19,941,437 | 付费 | [对比](https://openaitools.app/zh/compare/llm-gateway-vs-openrouter-ai) |
| [LiteLLM](https://openaitools.app/zh/tool/litellm) | 576,967 | 免费增值，定价请咨询 | [对比](https://openaitools.app/zh/compare/litellm-vs-llm-gateway) |
| [Portkey](https://openaitools.app/zh/tool/portkey-ai) | 195,650 | 免费增值，付费，定价请咨询 | [对比](https://openaitools.app/zh/compare/llm-gateway-vs-portkey-ai) |
| [OrcaRouter](https://openaitools.app/zh/tool/orcarouter) | 975,300 | 免费增值 | [对比](https://openaitools.app/zh/compare/llm-gateway-vs-orcarouter) |
| [ZenMux](https://openaitools.app/zh/tool/zenmux) | 444,394 | 免费增值，付费 | [对比](https://openaitools.app/zh/compare/llm-gateway-vs-zenmux) |
| [Helicone](https://openaitools.app/zh/tool/helicone-ai) | 57,187 | 免费增值，免费试用，付费，定价请咨询，免费 | [对比](https://openaitools.app/zh/compare/helicone-ai-vs-llm-gateway) |
| [Manifest](https://openaitools.app/zh/tool/manifest) | 54,135 | 免费 | [对比](https://openaitools.app/zh/compare/llm-gateway-vs-manifest) |
| [APIPark](https://openaitools.app/zh/tool/apipark) | 30,742 | 免费增值，定价请咨询 | [对比](https://openaitools.app/zh/compare/apipark-vs-llm-gateway) |
| [Respan](https://openaitools.app/zh/tool/respan) | 91,503 | 免费增值 | [对比](https://openaitools.app/zh/compare/llm-gateway-vs-respan) |
| [Eden AI](https://openaitools.app/zh/tool/eden-ai) | 173,828 | 付费，定价请咨询 | [对比](https://openaitools.app/zh/compare/eden-ai-vs-llm-gateway) |
| [AiHubMix](https://openaitools.app/zh/tool/aihubmix) | 238,455 | 定价请咨询 | [对比](https://openaitools.app/zh/compare/aihubmix-vs-llm-gateway) |

---
来源：https://openaitools.app/zh/tool/llm-gateway