llmproxy

LLM Proxy est un outil de débogage local qui se place entre les applications et l'API OpenAI pour journaliser et inspecter le trafic. Il permet aux développeurs de surveiller en temps réel les prompts exacts, l'utilisation des tokens, le timing et les erreurs. Les capacités clés incluent : - Journalisation des requêtes : Capture tous les points de terminaison /v1/*, y compris les réponses en streaming, et les enregistre sur le disque au format JSONL. - Interface Web : Fournit une interface basée sur le navigateur pour parcourir l'historique des requêtes, filtrer par point de terminaison ou modèle, et inspecter le corps complet des requêtes et réponses. - Configuration : Prend en charge des ports personnalisés, des substitutions de clés API et des niveaux de journalisation configurables via un fichier de configuration ou des variables d'environnement. - Sécurité : Anonymise les clés API dans les journaux (n'affichant que les 4 derniers caractères) et se lie par défaut à localhost. - Intégration : Compatible avec tout client ou SDK compatible OpenAI en modifiant l'URL de base pour l'adresse du proxy local.