# LLM Gateway

Theo dữ liệu đo lường của OpenAITools.app được xác minh vào 2026-11-11, LLM Gateway (llmgateway.io) là nền tảng AI được lập chỉ mục trong AI API, tạo ra 168,43 N lượt truy cập hàng tháng với mức thay đổi lưu lượng so với tháng trước là -28,46 N (-14,5%). Thị trường địa lý chính của nền tảng này là Hàn Quốc (thị phần lưu lượng 18,1%), và nền tảng hoạt động theo mô hình giá Freemium, Liên hệ để biết giá. Các lựa chọn thay thế cạnh tranh hàng đầu theo lưu lượng hàng tháng bao gồm OpenRouter (19,94 Tr lượt truy cập/tháng), LiteLLM (576,97 N lượt truy cập/tháng), Portkey (195,65 N lượt truy cập/tháng).

Một API tương thích OpenAI để định tuyến, giám sát và kiểm soát hơn 250 mô hình

## Dữ liệu đo lường & thông số kỹ thuật chính

| Chỉ số | Giá trị |
| :--- | :--- |
| Tên công cụ | LLM Gateway |
| Tên định danh | llm-gateway |
| Status | active |
| Origin | open_source |
| Maintenance | active |
| Tên miền chính thức | llmgateway.io |
| URL trang web | https://llmgateway.io |
| Danh mục | AI API, Công cụ cho lập trình viên AI, Large Language Models (LLMs), Mô hình AI, Mô hình AI mã nguồn mở |
| Mô hình giá | Freemium, Liên hệ để biết giá |
| Lượt truy cập hàng tháng | 168.426 |
| Thay đổi lưu lượng theo tháng | -28.456 |
| Tốc độ tăng trưởng theo tháng | -14,5% |
| Thị trường chính | Hàn Quốc |
| Thị phần | 18,1% |
| Truy cập trực tiếp | 98.622 |
| Truy cập từ tìm kiếm tự nhiên | — |
| Truy cập từ mạng xã hội | — |
| Truy cập từ giới thiệu | 15.904 |
| Truy cập từ email | 494 |
| Điểm đánh giá | 4,6 |
| Số lượt lưu | 0 |
| Nền tảng được hỗ trợ | Trang web |
| Nền tảng thanh toán |  |
| Thuộc tính | Giá cả: Freemium; Giá cả: Liên hệ để biết giá; Tính năng: Trang web |
| Thẻ | Cổng LLM, Quản lý API, Hạ tầng AI, Mã nguồn mở, API hợp nhất, LLM đa nhà cung cấp, Phân tích sử dụng, Giám sát hiệu năng, Quản lý khóa API, Tự lưu trữ, Triển khai đám mây, Điều phối mô hình, proxy AI, Định tuyến LLM |

## Tổng quan

Vấn đề cốt lõi mà LLM Gateway giải quyết là sự phân tán nhà cung cấp: mỗi nơi một API key, mỗi nơi một dashboard, và code vỡ mỗi khi bạn đổi mô hình. Khi có gateway, một yêu cầu duy nhất có thể được định tuyến tới hơn 250 mô hình tại hơn 40 nhà cung cấp, và đổi mô hình thường chỉ là thay một chuỗi ký tự. Nó cung cấp provider cho AI SDK, tương thích với bất kỳ SDK OpenAI, cURL hay client ngôn ngữ nào, và hỗ trợ các endpoint chat completions, responses và tạo hình ảnh.

Ngoài định tuyến, gateway còn là một control plane. Đội ngũ có được quản lý key tập trung, giới hạn chi tiêu theo key hoặc thành viên, chuyển đổi dự phòng tự động thử lại ở nhà cung cấp khác trong cùng yêu cầu khi một nhà cung cấp lỗi hoặc bị giới hạn tốc độ, và guardrail như phát hiện prompt injection và che PII để chặn dữ liệu nhạy cảm trước khi nhà cung cấp nhìn thấy. Một dashboard bao quát yêu cầu, token, chi phí mỗi 1K token, độ trễ, tỷ lệ lỗi, tỷ lệ cache hit và phân tách theo mô hình/nhà cung cấp, kèm audit log và SSO ở bản Enterprise.

Triển khai linh hoạt: có thể do nhà cung cấp vận hành dưới dạng cloud quản lý kèm SLA, hoặc tự host bằng Docker hay Kubernetes trên hạ tầng của bạn — điều hấp dẫn với các đội coi trọng quyền riêng tư. Phần lõi gateway là mã nguồn mở theo AGPLv3, các tính năng enterprise ở dạng source-available. Công ty cho biết đã đạt tuân thủ SOC 2 Type II, và giá bắt đầu từ gói miễn phí mang key của bạn, cộng thêm khoản phí nhỏ khi nạp credit cho dùng theo mức sử dụng, và gói Enterprise báo giá riêng.

## Giá & các gói

LLM Gateway theo mô hình freemium. Định tuyến và phân tích với key nhà cung cấp của bạn miễn phí vĩnh viễn và không cần thẻ; credit dùng theo mức sử dụng tính theo giá niêm yết của nhà cung cấp kèm phí nạp nhỏ; phần lõi mã nguồn mở có thể tự host miễn phí; và Enterprise bổ sung SSO, audit log, guardrail, SLA 99,9% và kiểm soát chính sách nhà cung cấp theo báo giá riêng.

## Tính năng & năng lực chính

- **API hợp nhất tương thích OpenAI:** Giữ nguyên code SDK OpenAI hiện có và chỉ đổi base URL để tiếp cận hơn 250 mô hình từ hơn 40 nhà cung cấp qua một tích hợp duy nhất.
- **Chuyển đổi dự phòng và định tuyến tự động:** Khi một nhà cung cấp lỗi, quá thời gian hoặc giới hạn tốc độ, gateway có thể thử lại tối đa hai lần ở nhà cung cấp khác trong cùng yêu cầu để ứng dụng vẫn có phản hồi.
- **Phân tích chi phí, độ trễ và chi tiêu:** Theo dõi yêu cầu, token, tổng chi tiêu và chi phí trung bình mỗi 1K token, kèm phân tách theo mô hình và nhà cung cấp, tỷ lệ cache hit và giám sát lỗi.
- **Guardrail và bảo mật key:** Phát hiện prompt injection, nỗ lực jailbreak, PII, số thẻ và secret rồi chặn, che hoặc cảnh báo; quản lý mọi key nhà cung cấp trong một dashboard có phân quyền.
- **Triển khai tự host hoặc quản lý:** Chạy gateway mã nguồn mở AGPLv3 trên hạ tầng Docker hay Kubernetes của bạn, hoặc để nhà cung cấp host dưới dạng cloud quản lý kèm SLA.

## Trường hợp sử dụng chính

- **Triển khai tính năng AI đa nhà cung cấp (Nhà phát triển ứng dụng):** Tránh bị khóa nhà cung cấp bằng cách gọi một endpoint duy nhất và đổi mô hình hay nhà cung cấp khi chất lượng, giá và tính khả dụng thay đổi.
- **Kiểm soát và quy gán chi tiêu LLM (Đội nền tảng hoặc tài chính):** Đặt giới hạn chi tiêu theo key và thành viên, phân tách chi phí theo dự án, mô hình và nhà cung cấp, phát hiện mức chi bất thường trước khi hóa đơn tới.
- **Thêm guardrail và dấu vết kiểm toán (Tổ chức kỹ thuật coi trọng bảo mật):** Che PII và secret trước khi yêu cầu tới nhà cung cấp, đồng thời lưu audit log về thay đổi key, vai trò và chính sách để tuân thủ.
- **Giữ lưu lượng suy luận trong mạng của bạn (Đội tự host):** Triển khai gateway mã nguồn mở trên hạ tầng của bạn để prompt và phản hồi nằm trong tầm kiểm soát.

## Điểm mạnh

- Một API key và một tích hợp thay thế cả đống SDK và dashboard của nhà cung cấp
- Lõi mã nguồn mở AGPLv3 với lộ trình tự host thực sự, không chỉ là SaaS được host
- Khả năng quan sát sâu: chi phí, token, độ trễ, lỗi, cache hit và phân tách theo dự án
- Chuyển đổi dự phòng và giới hạn chi tiêu tích hợp nằm ở gateway chứ không ở code ứng dụng

## Hạn chế

- Các tính năng quản trị giá trị nhất (guardrail, SSO, audit log và định tuyến theo chính sách nhà cung cấp) chỉ có ở bản Enterprise
- Credit dùng theo mức sử dụng có phí cộng thêm nhỏ so với giá niêm yết nên người dùng khối lượng lớn có thể thích dùng key riêng
- Gateway thêm một chặng và một thành phần cần vận hành, hơi thừa với đội chỉ dùng một mô hình

## Câu hỏi thường gặp

### Tôi có phải sửa code ứng dụng không?
Thường là không. Gateway cung cấp API tương thích OpenAI nên hầu hết đội giữ nguyên code SDK OpenAI và chỉ đổi base URL cùng API key.

### Hỗ trợ những nhà cung cấp và mô hình nào?
Gateway định tuyến tới hơn 250 mô hình tại hơn 40 nhà cung cấp, gồm OpenAI, Anthropic, Google, xAI, DeepSeek và nhiều nhà cung cấp khác; bạn có thể xem toàn bộ danh mục mô hình trên trang web.

### Tôi có thể tự host không?
Có. Lõi gateway là mã nguồn mở theo AGPLv3 và chạy trên hạ tầng Docker hay Kubernetes của bạn với Helm chart; tính năng enterprise cần license key.

### Có gói miễn phí không?
Có. Định tuyến và phân tích với key nhà cung cấp của bạn miễn phí và không cần thẻ; nếu không muốn tự quản lý key nhà cung cấp, bạn có thể dùng credit theo mức sử dụng.

### Lưu lượng hàng tháng và xu hướng tăng trưởng của LLM Gateway là gì?
Hiện LLM Gateway nhận được 168,43 N lượt truy cập hàng tháng, với mức thay đổi lưu lượng so với tháng trước là -28,46 N (tốc độ tăng trưởng -14,5%). Thị trường nguồn chính của nó là Hàn Quốc (thị phần 18,1%), bao gồm 98,62 N lượt truy cập trực tiếp/tháng và — lượt truy cập từ tìm kiếm tự nhiên/tháng.

### LLM Gateway có miễn phí không? Mô hình giá của nó là gì?
LLM Gateway hoạt động theo mô hình giá Freemium, Liên hệ để biết giá. LLM Gateway theo mô hình freemium. Định tuyến và phân tích với key nhà cung cấp của bạn miễn phí vĩnh viễn và không cần thẻ; credit dùng theo mức sử dụng tính theo giá niêm yết của nhà cung cấp kèm phí nạp nhỏ; phần lõi mã nguồn mở có thể tự host miễn phí; và Enterprise bổ sung SSO, audit log, guardrail, SLA 99,9% và kiểm soát chính sách nhà cung cấp theo báo giá riêng. Các nền tảng thanh toán và đặt hàng được hỗ trợ bao gồm: chưa được liệt kê.

### Những lựa chọn thay thế tốt nhất cho LLM Gateway trong năm 2026 là gì?
Dựa trên lưu lượng theo danh mục và mức độ phù hợp tính năng của OpenAITools.app, năm lựa chọn thay thế hàng đầu cho LLM Gateway là: 1. OpenRouter (19,94 Tr lượt truy cập/tháng); 2. LiteLLM (576,97 N lượt truy cập/tháng); 3. Portkey (195,65 N lượt truy cập/tháng); 4. OrcaRouter (975,3 N lượt truy cập/tháng); 5. ZenMux (444,39 N lượt truy cập/tháng).

### LLM Gateway hỗ trợ những nền tảng và năng lực AI cốt lõi nào?
LLM Gateway được phân loại trong AI API, Công cụ cho lập trình viên AI, Large Language Models (LLMs), Mô hình AI, hỗ trợ các nền tảng sau: Trang web, và các thẻ năng lực cốt lõi của nó bao gồm: Cổng LLM, Quản lý API, Hạ tầng AI, Mã nguồn mở, API hợp nhất, LLM đa nhà cung cấp.

## Lựa chọn thay thế

| Tên công cụ | Lượt truy cập hàng tháng | Mô hình giá | So sánh |
| :--- | :--- | :--- | :--- |
| [OpenRouter](https://openaitools.app/vi/tool/openrouter-ai) | 19.941.437 | Trả phí | [So sánh](https://openaitools.app/vi/compare/llm-gateway-vs-openrouter-ai) |
| [LiteLLM](https://openaitools.app/vi/tool/litellm) | 576.967 | Freemium, Liên hệ để biết giá | [So sánh](https://openaitools.app/vi/compare/litellm-vs-llm-gateway) |
| [Portkey](https://openaitools.app/vi/tool/portkey-ai) | 195.650 | Freemium, Trả phí, Liên hệ để biết giá | [So sánh](https://openaitools.app/vi/compare/llm-gateway-vs-portkey-ai) |
| [OrcaRouter](https://openaitools.app/vi/tool/orcarouter) | 975.300 | Freemium | [So sánh](https://openaitools.app/vi/compare/llm-gateway-vs-orcarouter) |
| [ZenMux](https://openaitools.app/vi/tool/zenmux) | 444.394 | Freemium, Trả phí | [So sánh](https://openaitools.app/vi/compare/llm-gateway-vs-zenmux) |
| [Helicone](https://openaitools.app/vi/tool/helicone-ai) | 57.187 | Freemium, Dùng thử miễn phí, Trả phí, Liên hệ để biết giá, Miễn phí | [So sánh](https://openaitools.app/vi/compare/helicone-ai-vs-llm-gateway) |
| [Manifest](https://openaitools.app/vi/tool/manifest) | 54.135 | Miễn phí | [So sánh](https://openaitools.app/vi/compare/llm-gateway-vs-manifest) |
| [APIPark](https://openaitools.app/vi/tool/apipark) | 30.742 | Freemium, Liên hệ để biết giá | [So sánh](https://openaitools.app/vi/compare/apipark-vs-llm-gateway) |
| [Respan](https://openaitools.app/vi/tool/respan) | 91.503 | Freemium | [So sánh](https://openaitools.app/vi/compare/llm-gateway-vs-respan) |
| [Eden AI](https://openaitools.app/vi/tool/eden-ai) | 173.828 | Trả phí, Liên hệ để biết giá | [So sánh](https://openaitools.app/vi/compare/eden-ai-vs-llm-gateway) |
| [AiHubMix](https://openaitools.app/vi/tool/aihubmix) | 238.455 | Liên hệ để biết giá | [So sánh](https://openaitools.app/vi/compare/aihubmix-vs-llm-gateway) |

---
Nguồn: https://openaitools.app/vi/tool/llm-gateway