इस प्रोजेक्ट के बारे में

LLM Proxy एक लोकल डीबगिंग टूल है जो एप्लिकेशन और OpenAI API के बीच रहकर ट्रैफिक को लॉग और इंस्पेक्ट करता है। यह डेवलपर्स को रीयल-टाइम में सटीक प्रॉम्प्ट्स, टोकन उपयोग, टाइमिंग और त्रुटियों की निगरानी करने की अनुमति देता है। मुख्य क्षमताओं में शामिल हैं: - Request Logging: सभी /v1/* एंडपॉइंट्स को कैप्चर करता है, जिसमें स्ट्रीमिंग रिस्पॉन्स भी शामिल हैं, और उन्हें JSONL फॉर्मेट में डिस्क पर सेव करता है। - Web UI: रिक्वेस्ट हिस्ट्री ब्राउज़ करने, एंडपॉइंट या मॉडल के आधार पर फ़िल्टर करने और पूर्ण रिक्वेस्ट/रिस्पॉन्स बॉडीज की जांच करने के लिए एक ब्राउज़र-आधारित इंटरफ़ेस प्रदान करता है। - Configuration: कॉन्फ़िग फ़ाइल या एनवायरनमेंट वेरिएबल्स के माध्यम से कस्टम पोर्ट्स, API key ओवरराइड्स और कॉन्फ़िगर करने योग्य लॉगिंग स्तरों का समर्थन करता है। - Security: लॉग्स में API keys को सैनिटाइज़ करता है (केवल अंतिम 4 अक्षर दिखाता है) और डिफ़ॉल्ट रूप से localhost से बाइंड होता है। - Integration: बेस URL को लोकल प्रॉक्सी एड्रेस में बदलकर किसी भी OpenAI-संगत क्लाइंट या SDK के साथ संगत है।