llmproxy

LLM Proxy es una herramienta de depuración local que se sitúa entre las aplicaciones y la API de OpenAI para registrar e inspeccionar el tráfico. Permite a los desarrolladores monitorear prompts exactos, el uso de tokens, los tiempos y los errores en tiempo real. Las capacidades clave incluyen: - Registro de solicitudes: Captura todos los endpoints /v1/*, incluyendo respuestas en streaming, y los guarda en el disco en formato JSONL. - Web UI: Proporciona una interfaz basada en el navegador para explorar el historial de solicitudes, filtrar por endpoint o modelo e inspeccionar los cuerpos completos de solicitud y respuesta. - Configuración: Admite puertos personalizados, anulaciones de claves API y niveles de registro configurables a través de un archivo de configuración o variables de entorno. - Seguridad: Sanitiza las claves API en los registros (mostrando solo los últimos 4 caracteres) y se vincula a localhost por defecto. - Integración: Compatible con cualquier cliente o SDK compatible con OpenAI cambiando la URL base a la dirección del proxy local.