Sobre el proyecto

Este proyecto demuestra la construcción de una pasarela LLM utilizando LiteLLM y LangChain, lo que permite el acceso unificado a múltiples proveedores de IA (como OpenAI y Groq) a través de una única API compatible con OpenAI. Incluye enrutamiento inteligente de modelos, conmutación por error automática, balanceo de carga, seguimiento de costos, almacenamiento en caché, observabilidad y medidas de seguridad del lado de la entrada, como la eliminación de PII y el bloqueo de inyección de prompts. La implementación se entrega como un cuaderno Jupyter ejecutable que explica cada concepto paso a paso, desde llamadas API unificadas básicas hasta la configuración de un servidor proxy listo para producción mediante config.yaml. Se integra sin problemas con cadenas de LangChain y admite el despliegue detrás de infraestructura con escalado automático. Las mejores prácticas incluyen caché con Redis, límites de velocidad por usuario, registros enviados a backends de observabilidad y configuración versionada. La pasarela abstrae los SDKs específicos de cada proveedor, permitiendo a los equipos cambiar de modelo o proveedor sin modificar el código, mientras centraliza los controles de costo, latencia y seguridad.