LiteLLM là cổng AI và proxy LLM mã nguồn mở, cho phép đội ngũ nền tảng đặt toàn bộ stack AI — mô hình, agent và máy chủ MCP — sau một khóa và một lần đăng nhập duy nhất. Nó dùng định dạng API của OpenAI, nên lập trình viên có thể gọi mô hình từ OpenAI, Anthropic, Google Vertex AI, AWS Bedrock, Cloudflare và nhiều nơi khác mà không cần sửa mã ứng dụng. Mô hình mới được hỗ trợ ngay ngày ra mắt, và tổ chức cũng có thể đưa mô hình nội bộ, đã tinh chỉnh hoặc tự lưu trữ vào cùng cổng này.
Các tính năng control plane hướng đến cả vận hành và tài chính, không chỉ kỹ thuật. Mức sử dụng và chi phí được theo dõi theo khóa, người dùng, nhóm, tổ chức, công cụ và agent trên mọi nhà cung cấp, với ngân sách cứng và giới hạn tốc độ sẽ dừng yêu cầu khi chạm mức trần. Doanh nghiệp có thể quy mọi yêu cầu về đơn vị để hoàn chi phí nội bộ, áp dụng kiểm soát truy cập mô hình và gắn các guardrail như che dấu PII, phát hiện prompt injection và phát hiện bí mật, tất cả đều có nhật ký kiểm toán bất biến.
LiteLLM có thể tự lưu trữ hoặc chạy dưới dạng triển khai doanh nghiệp được quản lý. Tối ưu chi phí là chủ đề cốt lõi: cân bằng tải giữa các nhà cung cấp và khu vực, định tuyến chi phí thấp nhất, dự phòng và bí danh mô hình giúp tận dụng tối đa ngân sách AI cố định. Dự án được cộng đồng lập trình viên biết đến rộng rãi, với hàng chục nghìn sao GitHub và nhiều tham chiếu triển khai thực tế tại các công ty công nghệ lớn.
