Sobre o projeto

Este projeto demonstra a construção de um Gateway LLM usando LiteLLM e LangChain, permitindo acesso unificado a múltiplos provedores de IA (OpenAI, Groq, etc.) por meio de uma única API compatível com OpenAI. Inclui roteamento inteligente de modelos, failover automático, balanceamento de carga, rastreamento de custos, caching, observabilidade e guardrails no lado da entrada, como redação de PII e bloqueio de injeção de prompt. A implementação é entregue como um notebook Jupyter executável que percorre cada conceito passo a passo, desde chamadas de API unificadas básicas até a configuração de servidor proxy pronto para produção usando config.yaml. Integra-se perfeitamente com cadeias LangChain e oferece suporte a implantação atrás de infraestrutura com escalonamento automático. As melhores práticas incluem caching com Redis, limites de taxa por usuário, log para backends de observabilidade e configuração versionada. O gateway abstrai SDKs específicos de provedores, permitindo que as equipes troquem modelos ou provedores sem alterações de código, enquanto centraliza controle de custos, latência e segurança.