llm-gateway

Inja LLM Gateway es una puerta de enlace API ligera y sin dependencias para proveedores de modelos de lenguaje grandes. Acepta solicitudes en los dialectos de OpenAI Chat Completions, Anthropic Messages o Gemini nativo y las enruta a cualquier proveedor ascendente configurado, incluidos OpenAI, Anthropic, Google, DeepSeek, xAI, Moonshot, OpenRouter, vLLM y otros. El tráfico del mismo dialecto se pasa casi literalmente; las solicitudes entre dialectos se traducen automáticamente, con soporte para salidas estructuradas, uso de herramientas y bloques de razonamiento. La puerta de enlace es completamente sin estado, sin base de datos, sesiones ni enrutamiento fijo, lo que facilita escalar réplicas idénticas. Se distribuye como un único binario estático para macOS, Linux y Windows, e incluye manifiestos de despliegue para Docker y Kubernetes. La única dependencia en tiempo de ejecución es gopkg.in/yaml.v3. Las capacidades clave incluyen salida multi-proveedor con cuatro tipos de proveedor (openai, openai_compat, anthropic, google), alias de modelos y enrutamiento, autenticación perimetral opcional con secretos compartidos, fuentes de tokens OAuth2 y cuentas de servicio, y un panel de operador integrado en /ui. La medición de uso emite un evento por solicitud proxy mediante JSONL, webhook asíncrono, SQLite opcional o un hook Go en proceso. La puerta de enlace también admite embeddings, generación de imágenes, trabajos de video, texto a voz, voz a texto, Respuestas de OpenAI, Archivos, Lotes, Moderaciones y sesiones WebSocket en tiempo real (solo paso directo del mismo protocolo). La configuración es un único archivo YAML con anulaciones mediante variables de entorno. Incluye comprobaciones de salud, métricas de Prometheus, límites de tamaño de cuerpo y apagado elegante. El proyecto está licenciado bajo AGPL-3.0.