Cổng AI mã nguồn mở cho hơn 100 nhà cung cấp LLM
Lượt truy cập web hằng tháng ước tính
Ước tính của Similarweb cho tên miền này, không phải số người dùng hoạt động. Chỉ hiển thị tháng có dữ liệu; ngày thu thập khác với kỳ thống kê.
Thu thập ngày 11 thg 11, 2026
Đây là đánh giá của ban biên tập trên thang 5, không phải trung bình điểm của người dùng. Các góc nhìn trên trang này do AI tổng hợp từ thông tin về sản phẩm, không phải nhận xét của khách hàng.
Theo dữ liệu đo lường của OpenAITools.app được xác minh vào 2026-11-11, LiteLLM (litellm.ai) là nền tảng AI được lập chỉ mục trong AI API, tạo ra 576,97 N lượt truy cập hàng tháng với mức thay đổi lưu lượng so với tháng trước là +42,48 N (+7,9%). Thị trường địa lý chính của nền tảng này là Hoa Kỳ (thị phần lưu lượng 27,9%), và nền tảng hoạt động theo mô hình giá Freemium, Liên hệ để biết giá. Các lựa chọn thay thế cạnh tranh hàng đầu theo lưu lượng hàng tháng bao gồm OpenRouter (19,94 Tr lượt truy cập/tháng), Portkey (195,65 N lượt truy cập/tháng), LLM Gateway (168,43 N lượt truy cập/tháng).
Cổng API LLM nguồn mở cực kỳ mạnh mẽ cho team dev.
Quá đỉnh.
Góc nhìn do AI tổng hợp dựa trên kiểm tra trang thực tế, biểu phí và chuẩn danh mục — không phải lời chứng thực của từng khách hàng cá nhân.
Gọi hơn 100 nhà cung cấp và 1.800 mô hình bằng một định dạng yêu cầu, đổi mô hình mà không cần sửa mã ứng dụng.
Cấp khóa giới hạn theo nhóm, dự án hoặc ứng dụng, đặt hạn mức chi tiêu hàng tháng và thấy rõ ai đang tạo ra mức dùng và chi phí.
Phân phối lưu lượng giữa các triển khai, thử lại khi lỗi và tự động chuyển sang mô hình hoặc nhà cung cấp khác khi có sự cố.
Bảng điều khiển về lượng yêu cầu, token và chi phí theo mô hình, hỗ trợ tích hợp logging và phân tích.
Gắn guardrail che dấu PII, phát hiện prompt injection và phát hiện lộ bí mật, quản lý chính sách tập trung thay vì rải rác từng ứng dụng.
LiteLLM là cổng AI và SDK Python mã nguồn mở, được tạo ra để loại bỏ tình trạng phụ thuộc một nhà cung cấp trong các ứng dụng LLM. Với SDK, bạn gọi mô hình từ OpenAI, Anthropic, Google Vertex AI, Bedrock, Mistral, Azure và hàng chục nhà cung cấp khác bằng cùng định dạng yêu cầu kiểu OpenAI, nên đổi mô hình chỉ là thay đổi cấu hình chứ không phải viết lại mã. Cùng dự án còn có cổng AI (thường gọi là proxy) biến lớp trừu tượng đó thành dịch vụ dùng chung cho toàn tổ chức.
Chính cổng này mang lại giá trị cho phần lớn đội nền tảng. Nó cấp khóa ảo giới hạn theo nhóm, dự án hoặc ứng dụng, theo dõi chi tiêu theo khóa so với ngân sách, áp đặt giới hạn tốc độ (TPM và RPM) và cung cấp bảng điều khiển về lượng yêu cầu, lượng token và chi phí theo từng mô hình. Định tuyến gồm cân bằng tải giữa các triển khai, tự động dự phòng khi nhà cung cấp gặp sự cố, thử lại và định tuyến lại theo ngân sách, kèm guardrail che dấu PII, phát hiện prompt injection và phát hiện lộ bí mật.
Dự án thực sự là mã nguồn mở, mã nguồn trên GitHub (BerriAI/litellm) với cộng đồng rất sôi động. Các tính năng doanh nghiệp bổ sung SSO, nhật ký kiểm toán và hỗ trợ agent cùng máy chủ MCP qua cùng cổng. Đáng chú ý là hỗ trợ «day-zero» cho mô hình mới, dùng được ngay ngày ra mắt, và khả năng phục vụ mô hình tự triển khai, tinh chỉnh và nội bộ sau cùng một khóa. Các khách hàng được nêu trên trang gồm NVIDIA, Netflix, Okta, Lemonade và AT&T.
Cấp cho mỗi lập trình viên một API và một đăng nhập cho mọi mô hình đã duyệt, với khóa, ngân sách và quyền truy cập quản lý tập trung.
Phát triển bằng SDK OpenAI và chuyển giữa OpenAI, Anthropic, Gemini hay mô hình tự triển khai chỉ bằng đổi một giá trị cấu hình.
Theo dõi chi tiêu theo nhóm và mô hình, giới hạn ngân sách trước khi vượt mức và chuyển tác vụ đắt sang mô hình rẻ hơn khi chất lượng cho phép.
Bắt buộc che dấu PII và kiểm tra prompt injection tại cổng, đồng thời lưu nhật ký tập trung về việc mô hình nào xử lý yêu cầu nào.
So sánh dữ liệu đo lường song song giữa các công cụ AI cạnh tranh trong cùng danh mục chính
| Hạng | Công cụ AI | Lượt truy cập hàng tháng | Tăng trưởng theo tháng | Tỷ trọng truy cập trực tiếp | Giá | So sánh trực tiếp |
|---|---|---|---|---|---|---|
| ● | LiteLLM | 576,97 N | +7,9% | 40% trực tiếp | Freemium, Liên hệ để biết giá | Hiện tại |
| 1 | OpenRouter Cung cấp danh mục mô hình lưu trữ khổng lồ với khả năng truy cập tức thì, nhưng đòi hỏi phải tin tưởng nền tảng của bên thứ ba thay vì tự lưu trữ. | 19,94 Tr | -6,2% | 60% trực tiếp | Trả phí | vs OpenRouter |
| 2 | Portkey Cung cấp các công cụ bảo vệ và khả năng quan sát cấp doanh nghiệp nâng cao, nhưng thiếu đi sự đơn giản của proxy tự lưu trữ gọn nhẹ từ LiteLLM. | 195,65 N | -9,4% | 62% trực tiếp | Freemium, Trả phí, Liên hệ để biết giá | vs Portkey |
| 3 | LLM Gateway Một giải pháp thay thế mã nguồn mở để thống nhất các nhà cung cấp LLM, nhưng có hệ sinh thái tích hợp phần mềm trung gian ít phong phú hơn. | 168,43 N | -14,5% | 59% trực tiếp | Freemium, Liên hệ để biết giá | vs LLM Gateway |
| 4 | Helicone Nổi bật về việc lưu vào bộ nhớ đệm yêu cầu, giám sát và phân tích chi phí, nhưng hoạt động chủ yếu như một trình theo dõi proxy thay vì bộ định tuyến. | 57,19 N | -25,2% | 31% trực tiếp | Freemium, Dùng thử miễn phí, Trả phí, Liên hệ để biết giá, Miễn phí | vs Helicone |
| 5 | OrcaRouter Cung cấp tính năng chuyển đổi dự phòng mô hình tự động và quản trị ngân sách thông qua cổng API, nhưng ít tùy chỉnh mã nguồn mở hơn. | 975,3 N | -5,2% | 26% trực tiếp | Freemium | vs OrcaRouter |
| 6 | Eden AI Cung cấp tính năng định tuyến AI đa nhà cung cấp được quản lý và theo dõi chi phí, nhưng thiếu đi tính linh hoạt mã nguồn mở gốc của LiteLLM. | 173,83 N | +6,5% | 19% trực tiếp | Trả phí, Liên hệ để biết giá | vs Eden AI |
Cung cấp danh mục mô hình lưu trữ khổng lồ với khả năng truy cập tức thì, nhưng đòi hỏi phải tin tưởng nền tảng của bên thứ ba thay vì tự lưu trữ.
Cung cấp danh mục mô hình lưu trữ khổng lồ với khả năng truy cập tức thì, nhưng đòi hỏi phải tin tưởng nền tảng của bên thứ ba thay vì tự lưu trữ.
Cung cấp các công cụ bảo vệ và khả năng quan sát cấp doanh nghiệp nâng cao, nhưng thiếu đi sự đơn giản của proxy tự lưu trữ gọn nhẹ từ LiteLLM.
Cung cấp các công cụ bảo vệ và khả năng quan sát cấp doanh nghiệp nâng cao, nhưng thiếu đi sự đơn giản của proxy tự lưu trữ gọn nhẹ từ LiteLLM.
Miễn phí / Mã nguồn mởMột giải pháp thay thế mã nguồn mở để thống nhất các nhà cung cấp LLM, nhưng có hệ sinh thái tích hợp phần mềm trung gian ít phong phú hơn.
Miễn phí / Mã nguồn mởMột giải pháp thay thế mã nguồn mở để thống nhất các nhà cung cấp LLM, nhưng có hệ sinh thái tích hợp phần mềm trung gian ít phong phú hơn.
Chuyên sâuNổi bật về việc lưu vào bộ nhớ đệm yêu cầu, giám sát và phân tích chi phí, nhưng hoạt động chủ yếu như một trình theo dõi proxy thay vì bộ định tuyến.
Chuyên sâuNổi bật về việc lưu vào bộ nhớ đệm yêu cầu, giám sát và phân tích chi phí, nhưng hoạt động chủ yếu như một trình theo dõi proxy thay vì bộ định tuyến.
Cung cấp tính năng chuyển đổi dự phòng mô hình tự động và quản trị ngân sách thông qua cổng API, nhưng ít tùy chỉnh mã nguồn mở hơn.
Cung cấp tính năng chuyển đổi dự phòng mô hình tự động và quản trị ngân sách thông qua cổng API, nhưng ít tùy chỉnh mã nguồn mở hơn.
Cung cấp tính năng định tuyến AI đa nhà cung cấp được quản lý và theo dõi chi phí, nhưng thiếu đi tính linh hoạt mã nguồn mở gốc của LiteLLM.
Miễn phí / Mã nguồn mởOpen-source request routing with built-in evaluations, but has a smaller community and fewer pre-built provider connectors.
Miễn phí / Mã nguồn mởOpen-source request routing with built-in evaluations, but has a smaller community and fewer pre-built provider connectors.
Miễn phí / Mã nguồn mởOpen-source gateway focused on automatic request repair and fallback, but significantly less mature than LiteLLM.
Miễn phí / Mã nguồn mởOpen-source gateway focused on automatic request repair and fallback, but significantly less mature than LiteLLM.
Chuyên sâuHosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
Chuyên sâuHosts high-performance open-weight models directly on dedicated serverless infrastructure, but does not route across external providers.
Unified LLM gateway with failover and analytics, but offers less robust open-source developer SDK support.
Unified LLM gateway with failover and analytics, but offers less robust open-source developer SDK support.
