LiteLLM ghi nhận 576.967 lượt truy cập hàng tháng với mức tăng trưởng so với tháng trước là +7,9% và giá Freemium, Liên hệ để biết giá. OpenLIT ghi nhận 6.028 lượt truy cập hàng tháng với mức tăng trưởng -18,3% và giá Miễn phí.
Cổng AI mã nguồn mở cho hơn 100 nhà cung cấp LLM
Nền tảng mã nguồn mở, gốc OpenTelemetry cho khả năng quan sát và kỹ thuật harness cho AI agent
| Tiêu chí / Chỉ số | | |
|---|---|---|
| Tên miền chính thức | litellm.ai | openlit.io |
| Mô hình giá | Freemium, Liên hệ để biết giá | Miễn phí |
| Lượt truy cập hàng tháng | 576,97 N (576.967) | 6,03 N (6.028) |
| Mức thay đổi lưu lượng theo tháng | +42,48 N (+7,9%) | -1,35 N (-18,3%) |
| Thị trường chính & thị phần | 🇺🇸 Hoa Kỳ (27,9%) | 🇺🇸 Hoa Kỳ (53,6%) |
| Truy cập trực tiếp / tháng | 228,97 N | 2,38 N |
| Đánh giá người dùng | 4,8 | 4,7 |
| Nền tảng được hỗ trợ | Trang web | Trang web |
Cổng AI mã nguồn mở cho hơn 100 nhà cung cấp LLM
Gọi hơn 100 nhà cung cấp và 1.800 mô hình bằng một định dạng yêu cầu, đổi mô hình mà không cần sửa mã ứng dụng.
Cấp khóa giới hạn theo nhóm, dự án hoặc ứng dụng, đặt hạn mức chi tiêu hàng tháng và thấy rõ ai đang tạo ra mức dùng và chi phí.
Phân phối lưu lượng giữa các triển khai, thử lại khi lỗi và tự động chuyển sang mô hình hoặc nhà cung cấp khác khi có sự cố.
Bảng điều khiển về lượng yêu cầu, token và chi phí theo mô hình, hỗ trợ tích hợp logging và phân tích.
Nền tảng mã nguồn mở, gốc OpenTelemetry cho khả năng quan sát và kỹ thuật harness cho AI agent
Ghi lại trace và metric OpenTelemetry cho mọi lần gọi LLM, gọi công cụ, bước truy xuất và bước agent, rồi lọc theo người dùng, phiên, chi phí, độ trễ hoặc metadata tùy chỉnh.
Chấm điểm lưu lượng production hoặc thử nghiệm bằng LLM-as-a-judge, kiểm tra heuristic hoặc đánh giá thủ công để đo độ chính xác, mức liên quan và độ an toàn theo thời gian.
Quản lý và tạo phiên bản cho prompt trong Prompt Hub, rồi triển khai, khôi phục và cập nhật prompt mà không cần phát hành mã ứng dụng mới.
Lưu và xoay vòng khóa API của OpenAI, Anthropic và các nhà cung cấp LLM khác bên ngoài mã nguồn, trong một vault được mã hóa.
Cung cấp danh mục mô hình lưu trữ khổng lồ với khả năng truy cập tức thì, nhưng đòi hỏi phải tin tưởng nền tảng của bên thứ ba thay vì tự lưu trữ.
Cung cấp danh mục mô hình lưu trữ khổng lồ với khả năng truy cập tức thì, nhưng đòi hỏi phải tin tưởng nền tảng của bên thứ ba thay vì tự lưu trữ.
Miễn phí / Mã nguồn mởChạy và phát triển với mô hình AI mở ngay trên máy hoặc trên cloud
Miễn phí / Mã nguồn mởChạy và phát triển với mô hình AI mở ngay trên máy hoặc trên cloud
Chuyên sâuHosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
Chuyên sâuHosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
Cung cấp tính năng chuyển đổi dự phòng mô hình tự động và quản trị ngân sách thông qua cổng API, nhưng ít tùy chỉnh mã nguồn mở hơn.
Cung cấp tính năng chuyển đổi dự phòng mô hình tự động và quản trị ngân sách thông qua cổng API, nhưng ít tùy chỉnh mã nguồn mở hơn.
Unified LLM gateway with failover and analytics, but offers less robust open-source developer SDK support.
Unified LLM gateway with failover and analytics, but offers less robust open-source developer SDK support.
Miễn phí / Mã nguồn mởNền tảng quan sát, đánh giá và cải tiến liên tục cho AI agent trong môi trường production
Miễn phí / Mã nguồn mởNền tảng quan sát, đánh giá và cải tiến liên tục cho AI agent trong môi trường production
AI gateway, khả năng quan sát và guardrail cho ứng dụng LLM production
AI gateway, khả năng quan sát và guardrail cho ứng dụng LLM production
Cung cấp tính năng định tuyến AI đa nhà cung cấp được quản lý và theo dõi chi phí, nhưng thiếu đi tính linh hoạt mã nguồn mở gốc của LiteLLM.
Miễn phí / Mã nguồn mởMột giải pháp thay thế mã nguồn mở để thống nhất các nhà cung cấp LLM, nhưng có hệ sinh thái tích hợp phần mềm trung gian ít phong phú hơn.
Miễn phí / Mã nguồn mởMột giải pháp thay thế mã nguồn mở để thống nhất các nhà cung cấp LLM, nhưng có hệ sinh thái tích hợp phần mềm trung gian ít phong phú hơn.
Miễn phí / Mã nguồn mởXây dựng, mô phỏng, đánh giá và giám sát AI agent tự cải thiện
Miễn phí / Mã nguồn mởXây dựng, mô phỏng, đánh giá và giám sát AI agent tự cải thiện
Miễn phí / Mã nguồn mởMaxim AI is a platform for evaluating, testing, and monitoring AI applications, and the home of Bifrost, an open-source LLM gateway. It helps teams ship reliable AI features with tracing, evaluation, agent simulation, and production observability.
Miễn phí / Mã nguồn mởMaxim AI is a platform for evaluating, testing, and monitoring AI applications, and the home of Bifrost, an open-source LLM gateway. It helps teams ship reliable AI features with tracing, evaluation, agent simulation, and production observability.
Miễn phí / Mã nguồn mởCổng AI mã nguồn mở tích hợp khả năng quan sát và đánh giá
Miễn phí / Mã nguồn mởCổng AI mã nguồn mở tích hợp khả năng quan sát và đánh giá
