frugal-llm

Frugal LLM es un servidor proxy ligero escrito en Go que proporciona una interfaz de API unificada compatible con OpenAI. Su propósito principal es optimizar el presupuesto de la API y la calidad de las respuestas al enrutar automáticamente los prompts entrantes a arquitecturas de modelos especializados según el dominio de la tarea (por ejemplo, enrutar chats casuales a motores de alta velocidad y razonamiento complejo a modelos insignia). Características clave incluyen: - Enrutamiento Dinámico: Utiliza un motor clasificador de LLM basado en plantillas para asignar cargas de trabajo al proveedor y modelo ideales. - Amplio Soporte de Proveedores: Se integra con OpenAI, Google Gemini, Anthropic Claude, DeepSeek, Groq, Together AI, HuggingFace y servidores locales como Ollama, LM Studio y vLLM. - Compatibilidad con Especificaciones de OpenAI: Funciona con SDK estándar de OpenAI, LangChain, LlamaIndex y asistentes de código como Cursor y Cline sin necesidad de refactorizar código. - Características Técnicas: Soporta streaming SSE, reintentos de proveedor con retroceso exponencial y unmarshaling flexible de carga útil para contenido estructurado. - Configuración: Soporta configuración sin edición mediante variables de entorno o personalización avanzada a través de archivos YAML.