# LiteLLM

Theo dữ liệu đo lường của OpenAITools.app được xác minh vào 2026-11-11, LiteLLM (litellm.ai) là nền tảng AI được lập chỉ mục trong AI API, tạo ra 576,97 N lượt truy cập hàng tháng với mức thay đổi lưu lượng so với tháng trước là +42,48 N (+7,9%). Thị trường địa lý chính của nền tảng này là Hoa Kỳ (thị phần lưu lượng 27,9%), và nền tảng hoạt động theo mô hình giá Freemium, Liên hệ để biết giá. Các lựa chọn thay thế cạnh tranh hàng đầu theo lưu lượng hàng tháng bao gồm OpenRouter (19,94 Tr lượt truy cập/tháng), Portkey (195,65 N lượt truy cập/tháng), LLM Gateway (168,43 N lượt truy cập/tháng).

Cổng AI mã nguồn mở cho hơn 100 nhà cung cấp LLM

## Dữ liệu đo lường & thông số kỹ thuật chính

| Chỉ số | Giá trị |
| :--- | :--- |
| Tên công cụ | LiteLLM |
| Tên định danh | litellm |
| Status | active |
| Origin | open_source |
| Maintenance | active |
| Tên miền chính thức | litellm.ai |
| URL trang web | https://litellm.ai |
| Danh mục | AI API, Large Language Models (LLMs), Công cụ cho lập trình viên AI, Mô hình AI mã nguồn mở |
| Mô hình giá | Freemium, Liên hệ để biết giá |
| Lượt truy cập hàng tháng | 576.967 |
| Thay đổi lưu lượng theo tháng | 42.483 |
| Tốc độ tăng trưởng theo tháng | +7,9% |
| Thị trường chính | Hoa Kỳ |
| Thị phần | 27,9% |
| Truy cập trực tiếp | 228.967 |
| Truy cập từ tìm kiếm tự nhiên | — |
| Truy cập từ mạng xã hội | — |
| Truy cập từ giới thiệu | 61.968 |
| Truy cập từ email | 2.778 |
| Điểm đánh giá | 4,8 |
| Số lượt lưu | 5 |
| Nền tảng được hỗ trợ | Trang web |
| Nền tảng thanh toán |  |
| Thuộc tính | Tính năng: Trang web; Giá cả: Liên hệ để biết giá; Giá cả: Miễn phí |
| Thẻ | Cổng LLM, Proxy OpenAI, Quản lý LLM, Theo dõi chi phí, Cân bằng tải, Quản lý API, Truy cập mô hình, khả năng quan sát, kỹ thuật prompt |

## Tổng quan

LiteLLM là cổng AI và SDK Python mã nguồn mở, được tạo ra để loại bỏ tình trạng phụ thuộc một nhà cung cấp trong các ứng dụng LLM. Với SDK, bạn gọi mô hình từ OpenAI, Anthropic, Google Vertex AI, Bedrock, Mistral, Azure và hàng chục nhà cung cấp khác bằng cùng định dạng yêu cầu kiểu OpenAI, nên đổi mô hình chỉ là thay đổi cấu hình chứ không phải viết lại mã. Cùng dự án còn có cổng AI (thường gọi là proxy) biến lớp trừu tượng đó thành dịch vụ dùng chung cho toàn tổ chức.

Chính cổng này mang lại giá trị cho phần lớn đội nền tảng. Nó cấp khóa ảo giới hạn theo nhóm, dự án hoặc ứng dụng, theo dõi chi tiêu theo khóa so với ngân sách, áp đặt giới hạn tốc độ (TPM và RPM) và cung cấp bảng điều khiển về lượng yêu cầu, lượng token và chi phí theo từng mô hình. Định tuyến gồm cân bằng tải giữa các triển khai, tự động dự phòng khi nhà cung cấp gặp sự cố, thử lại và định tuyến lại theo ngân sách, kèm guardrail che dấu PII, phát hiện prompt injection và phát hiện lộ bí mật.

Dự án thực sự là mã nguồn mở, mã nguồn trên GitHub (BerriAI/litellm) với cộng đồng rất sôi động. Các tính năng doanh nghiệp bổ sung SSO, nhật ký kiểm toán và hỗ trợ agent cùng máy chủ MCP qua cùng cổng. Đáng chú ý là hỗ trợ «day-zero» cho mô hình mới, dùng được ngay ngày ra mắt, và khả năng phục vụ mô hình tự triển khai, tinh chỉnh và nội bộ sau cùng một khóa. Các khách hàng được nêu trên trang gồm NVIDIA, Netflix, Okta, Lemonade và AT&T.

## Giá & các gói

Freemium và mã nguồn mở. Cổng và SDK tự triển khai miễn phí theo giấy phép mã nguồn mở, có gói miễn phí để bắt đầu ngay. Gói doanh nghiệp với SSO, nhật ký kiểm toán, SLA và hỗ trợ nâng cao cần liên hệ bộ phận kinh doanh để báo giá.

## Tính năng & năng lực chính

- **API tương thích OpenAI cho hơn 100 LLM:** Gọi hơn 100 nhà cung cấp và 1.800 mô hình bằng một định dạng yêu cầu, đổi mô hình mà không cần sửa mã ứng dụng.
- **Khóa ảo, nhóm và ngân sách:** Cấp khóa giới hạn theo nhóm, dự án hoặc ứng dụng, đặt hạn mức chi tiêu hàng tháng và thấy rõ ai đang tạo ra mức dùng và chi phí.
- **Định tuyến, cân bằng tải và dự phòng:** Phân phối lưu lượng giữa các triển khai, thử lại khi lỗi và tự động chuyển sang mô hình hoặc nhà cung cấp khác khi có sự cố.
- **Khả năng quan sát và theo dõi chi phí:** Bảng điều khiển về lượng yêu cầu, token và chi phí theo mô hình, hỗ trợ tích hợp logging và phân tích.
- **Guardrail và kiểm soát chính sách:** Gắn guardrail che dấu PII, phát hiện prompt injection và phát hiện lộ bí mật, quản lý chính sách tập trung thay vì rải rác từng ứng dụng.

## Trường hợp sử dụng chính

- **Cổng LLM trung tâm cho công ty (Kỹ sư nền tảng AI):** Cấp cho mỗi lập trình viên một API và một đăng nhập cho mọi mô hình đã duyệt, với khóa, ngân sách và quyền truy cập quản lý tập trung.
- **Ứng dụng đa nhà cung cấp không viết lại mã (Lập trình viên backend):** Phát triển bằng SDK OpenAI và chuyển giữa OpenAI, Anthropic, Gemini hay mô hình tự triển khai chỉ bằng đổi một giá trị cấu hình.
- **Quản trị chi phí LLM (FinOps hoặc quản lý kỹ thuật):** Theo dõi chi tiêu theo nhóm và mô hình, giới hạn ngân sách trước khi vượt mức và chuyển tác vụ đắt sang mô hình rẻ hơn khi chất lượng cho phép.
- **Guardrail và dấu vết kiểm toán (Phụ trách bảo mật và tuân thủ):** Bắt buộc che dấu PII và kiểm tra prompt injection tại cổng, đồng thời lưu nhật ký tập trung về việc mô hình nào xử lý yêu cầu nào.

## Điểm mạnh

- Mã nguồn mở thực sự với cộng đồng GitHub lớn và tùy chọn tự triển khai
- Độ phủ nhà cung cấp rất rộng cùng giao diện tương thích OpenAI
- Kiểm soát cấp doanh nghiệp: khóa ảo, ngân sách, giới hạn tốc độ và nhật ký kiểm toán
- Hỗ trợ day-zero cho mô hình mới và dự phòng dễ dàng khi nhà cung cấp gặp sự cố

## Hạn chế

- Tự triển khai đồng nghĩa bạn tự chịu trách nhiệm vận hành, nâng cấp và thời gian hoạt động
- Độ sâu tính năng khác nhau giữa bản mã nguồn mở và gói doanh nghiệp
- Quá nhiều tùy chọn cấu hình có thể khiến dự án nhỏ choáng ngợp

## Câu hỏi thường gặp

### LiteLLM chính xác là gì?
Là hai thứ trong cùng một dự án: SDK Python cho phép gọi hơn 100 LLM theo định dạng OpenAI, và cổng AI (proxy) biến điều đó thành endpoint dùng chung, có quản trị cho toàn tổ chức với khóa, ngân sách, định tuyến và nhật ký.

### LiteLLM có miễn phí không?
SDK và cổng tự triển khai là mã nguồn mở, dùng miễn phí, và có gói miễn phí để bắt đầu. Các tính năng doanh nghiệp như SSO, nhật ký kiểm toán và SLA cần gói trả phí do bộ phận kinh doanh báo giá.

### Hỗ trợ những nhà cung cấp và mô hình nào?
Dự án công bố hơn 100 nhà cung cấp, 1.800 mô hình và hơn 140 tích hợp, gồm OpenAI, Anthropic, Google Vertex AI, AWS Bedrock, Mistral, Azure, cùng mô hình nội bộ tự triển khai và tinh chỉnh.

### Công cụ này có giúp kiểm soát chi phí LLM không?
Có. Bạn đặt ngân sách theo khóa, nhóm hoặc thẻ, xem chi tiêu chi tiết theo mô hình và định tuyến yêu cầu sang mô hình rẻ hơn hoặc triển khai dự phòng; nhiều khách hàng đã giảm đáng kể chi phí tác vụ AI nhờ cách này.

### Lưu lượng hàng tháng và xu hướng tăng trưởng của LiteLLM là gì?
Hiện LiteLLM nhận được 576,97 N lượt truy cập hàng tháng, với mức thay đổi lưu lượng so với tháng trước là +42,48 N (tốc độ tăng trưởng +7,9%). Thị trường nguồn chính của nó là Hoa Kỳ (thị phần 27,9%), bao gồm 228,97 N lượt truy cập trực tiếp/tháng và — lượt truy cập từ tìm kiếm tự nhiên/tháng.

### LiteLLM có miễn phí không? Mô hình giá của nó là gì?
LiteLLM hoạt động theo mô hình giá Freemium, Liên hệ để biết giá. Freemium và mã nguồn mở. Cổng và SDK tự triển khai miễn phí theo giấy phép mã nguồn mở, có gói miễn phí để bắt đầu ngay. Gói doanh nghiệp với SSO, nhật ký kiểm toán, SLA và hỗ trợ nâng cao cần liên hệ bộ phận kinh doanh để báo giá. Các nền tảng thanh toán và đặt hàng được hỗ trợ bao gồm: chưa được liệt kê.

### Những lựa chọn thay thế tốt nhất cho LiteLLM trong năm 2026 là gì?
Dựa trên lưu lượng theo danh mục và mức độ phù hợp tính năng của OpenAITools.app, năm lựa chọn thay thế hàng đầu cho LiteLLM là: 1. OpenRouter (19,94 Tr lượt truy cập/tháng); 2. Portkey (195,65 N lượt truy cập/tháng); 3. LLM Gateway (168,43 N lượt truy cập/tháng); 4. Helicone (57,19 N lượt truy cập/tháng); 5. OrcaRouter (975,3 N lượt truy cập/tháng).

### LiteLLM hỗ trợ những nền tảng và năng lực AI cốt lõi nào?
LiteLLM được phân loại trong AI API, Large Language Models (LLMs), Công cụ cho lập trình viên AI, Mô hình AI mã nguồn mở, hỗ trợ các nền tảng sau: Trang web, và các thẻ năng lực cốt lõi của nó bao gồm: Cổng LLM, Proxy OpenAI, Quản lý LLM, Theo dõi chi phí, Cân bằng tải, Quản lý API.

## Lựa chọn thay thế

| Tên công cụ | Lượt truy cập hàng tháng | Mô hình giá | So sánh |
| :--- | :--- | :--- | :--- |
| [OpenRouter](https://openaitools.app/vi/tool/openrouter-ai) | 19.941.437 | Trả phí | [So sánh](https://openaitools.app/vi/compare/litellm-vs-openrouter-ai) |
| [Portkey](https://openaitools.app/vi/tool/portkey-ai) | 195.650 | Freemium, Trả phí, Liên hệ để biết giá | [So sánh](https://openaitools.app/vi/compare/litellm-vs-portkey-ai) |
| [LLM Gateway](https://openaitools.app/vi/tool/llm-gateway) | 168.426 | Freemium, Liên hệ để biết giá | [So sánh](https://openaitools.app/vi/compare/litellm-vs-llm-gateway) |
| [Helicone](https://openaitools.app/vi/tool/helicone-ai) | 57.187 | Freemium, Dùng thử miễn phí, Trả phí, Liên hệ để biết giá, Miễn phí | [So sánh](https://openaitools.app/vi/compare/helicone-ai-vs-litellm) |
| [OrcaRouter](https://openaitools.app/vi/tool/orcarouter) | 975.300 | Freemium | [So sánh](https://openaitools.app/vi/compare/litellm-vs-orcarouter) |
| [Eden AI](https://openaitools.app/vi/tool/eden-ai) | 173.828 | Trả phí, Liên hệ để biết giá | [So sánh](https://openaitools.app/vi/compare/eden-ai-vs-litellm) |
| [Respan](https://openaitools.app/vi/tool/respan) | 91.503 | Freemium | [So sánh](https://openaitools.app/vi/compare/litellm-vs-respan) |
| [Manifest](https://openaitools.app/vi/tool/manifest) | 54.135 | Miễn phí | [So sánh](https://openaitools.app/vi/compare/litellm-vs-manifest) |
| [Together AI](https://openaitools.app/vi/tool/together-ai) | 1.645.930 | Freemium, Trả phí | [So sánh](https://openaitools.app/vi/compare/litellm-vs-together-ai) |
| [ZenMux](https://openaitools.app/vi/tool/zenmux) | 444.394 | Freemium, Trả phí | [So sánh](https://openaitools.app/vi/compare/litellm-vs-zenmux) |

## Cộng đồng

Cổng AI cung cấp quyền truy cập mô hình và theo dõi chi phí trên hơn 100 LLM, tất cả qua các endpoint tương thích OpenAI.

[liteLLM](https://discord.com/invite/wuPM9dRgDw)

---
Nguồn: https://openaitools.app/vi/tool/litellm