O LiteLLM é um gateway de IA e SDK em Python de código aberto criado para eliminar a dependência de um único fornecedor em aplicações de LLM. Com o SDK, você chama modelos da OpenAI, Anthropic, Google Vertex AI, Bedrock, Mistral, Azure e dezenas de outros provedores usando o mesmo formato de requisição estilo OpenAI, então trocar de modelo é uma mudança de configuração, não uma reescrita de código. O mesmo projeto traz um gateway de IA (muitas vezes chamado de proxy) que transforma essa abstração em um serviço compartilhado por toda a organização.
É nesse gateway que a maioria das equipes de plataforma encontra valor. Ele emite chaves virtuais com escopo por time, projeto ou aplicação, rastreia gastos por chave em relação a orçamentos, aplica limites de taxa (TPM e RPM) e oferece painéis com volume de requisições, uso de tokens e custo por modelo. O roteamento inclui balanceamento entre implantações, fallback automático quando um provedor falha, tentativas repetidas e redirecionamento por orçamento, além de guardrails para mascarar PII, detectar injeção de prompt e detectar segredos.
O projeto é genuinamente de código aberto, com o código no GitHub (BerriAI/litellm) e uma comunidade muito ativa. Os recursos corporativos acrescentam SSO, logs de auditoria e suporte a agentes e servidores MCP pelo mesmo gateway. Vale destacar o suporte «day-zero» a modelos novos, que permite adotá-los no mesmo dia do lançamento, e a possibilidade de servir modelos auto-hospedados, ajustados e internos atrás da mesma chave. Entre as empresas citadas estão NVIDIA, Netflix, Okta, Lemonade e AT&T.