LiteLLM est une passerelle IA et un SDK Python open source conçus pour éliminer la dépendance à un fournisseur unique dans les applications LLM. Avec le SDK, vous appelez des modèles d'OpenAI, Anthropic, Google Vertex AI, Bedrock, Mistral, Azure et des dizaines d'autres fournisseurs au même format de requête de type OpenAI : changer de modèle devient un réglage de configuration, pas une réécriture de code. Le même projet fournit une passerelle IA (souvent appelée proxy) qui transforme cette abstraction en service partagé à l'échelle de l'entreprise.
C'est cette passerelle qui apporte le plus de valeur aux équipes plateforme. Elle délivre des clés virtuelles portant sur une équipe, un projet ou une application, suit les dépenses par clé par rapport aux budgets, applique des limites de débit (TPM et RPM) et propose des tableaux de bord sur le volume de requêtes, l'usage de tokens et le coût par modèle. Le routage inclut la répartition de charge entre déploiements, le repli automatique en cas de panne d'un fournisseur, les nouvelles tentatives et la redirection selon le budget, avec des garde-fous pour masquer les données personnelles, détecter l'injection de prompts et les secrets.
Le projet est véritablement open source, le code est sur GitHub (BerriAI/litellm) et la communauté très active. Les fonctions entreprise ajoutent SSO, journaux d'audit et prise en charge des agents et serveurs MCP via la même passerelle. À noter : un support « day-zero » des nouveaux modèles, utilisables dès leur sortie, et la possibilité de servir des modèles auto-hébergés, affinés ou internes derrière la même clé. Parmi les entreprises citées figurent NVIDIA, Netflix, Okta, Lemonade et AT&T.