LiteLLM es una puerta de enlace de IA y un SDK de Python de código abierto diseñados para eliminar la dependencia de un único proveedor en las aplicaciones de LLM. El SDK permite llamar a modelos de OpenAI, Anthropic, Google Vertex AI, Bedrock, Mistral, Azure y decenas de otros proveedores usando el mismo formato de petición estilo OpenAI, de modo que cambiar de modelo es un ajuste de configuración y no una reescritura de código. El mismo proyecto incluye una puerta de enlace de IA (a menudo llamada proxy) que convierte esa abstracción en un servicio compartido para toda la organización.
La puerta de enlace es donde la mayoría de los equipos de plataforma encuentra el valor. Emite claves virtuales con alcance por equipo, proyecto o aplicación, registra el gasto por clave frente a presupuestos, aplica límites de velocidad (TPM y RPM) y ofrece paneles con volumen de peticiones, uso de tokens y coste por modelo. El enrutamiento incluye balanceo entre despliegues, alternativas automáticas cuando falla un proveedor, reintentos y redirección según presupuesto, además de guardarraíles para enmascarar PII, detectar inyección de prompts y detectar secretos.
El proyecto es genuinamente de código abierto, con el código en GitHub (BerriAI/litellm) y una comunidad muy activa. Las funciones empresariales añaden SSO, registros de auditoría y compatibilidad con agentes y servidores MCP a través de la misma puerta de enlace. Destaca su soporte «day-zero» para modelos nuevos, que permite adoptarlos el mismo día de su lanzamiento, y la posibilidad de servir modelos autoalojados, ajustados e internos tras la misma clave. Entre las empresas citadas figuran NVIDIA, Netflix, Okta, Lemonade y AT&T.