unified-llm-engine

Unified LLM Engine es una biblioteca en Python que abstrae las interacciones con múltiples proveedores de modelos de lenguaje grandes (LLM), incluidos OpenAI, Anthropic, Gemini, Azure, AWS Bedrock y Ollama. Ofrece una interfaz unificada para que los desarrolladores puedan cambiar o combinar proveedores sin modificar el código. Entre sus características principales se incluyen fallbacks automáticos de proveedor cuando uno falla, seguimiento en tiempo real del costo y el uso de tokens, caché inteligente de respuestas para reducir llamadas redundantes, soporte de streaming para salida en tiempo real y un diseño async-first orientado a alto rendimiento. El motor enruta las solicitudes de forma inteligente según la disponibilidad del modelo, la carga y las preferencias configuradas. Los usuarios pueden inicializar el motor con variables de entorno para las claves API y opcionalmente habilitar la caché o establecer modelos predeterminados. Los resúmenes de costos están disponibles por modelo y agregados entre sesiones. La arquitectura separa la lógica central de enrutamiento de las implementaciones individuales de cada proveedor, lo que la hace extensible. Incluye ejemplos y pruebas, y el proyecto sigue la licencia MIT. Es ideal para aplicaciones que requieren resiliencia, control de costos o flexibilidad multi-proveedor en integraciones con LLM.