منصوبے کے بارے میں

LLM Proxy ایک مقامی ڈیبگنگ ٹول ہے جو ایپلی کیشنز اور OpenAI API کے درمیان کام کرتا ہے تاکہ ٹریفک کو لاگ اور معائنہ کیا جا سکے۔ یہ ڈویلپرز کو ریئل ٹائم میں درست پرامپٹس، ٹوکن کے استعمال، ٹائمنگ اور غلطیوں کی نگرانی کرنے کی اجازت دیتا ہے۔ اہم صلاحیتوں میں شامل ہیں: - Request Logging: تمام /v1/* اینڈ پوائنٹس کو کیپچر کرتا ہے، بشمول اسٹریمنگ ریسپانسز، اور انہیں JSONL فارمیٹ میں ڈسک پر محفوظ کرتا ہے۔ - Web UI: ریکوئسٹ ہسٹری کو براؤز کرنے، اینڈ پوائنٹ یا ماڈل کے ذریعے فلٹر کرنے، اور مکمل ریکوئسٹ/ریسپانس باڈیز کے معائنے کے لیے براؤزر پر مبنی انٹرفیس فراہم کرتا ہے۔ - Configuration: کنفیگ فائل یا انوائرمنٹ ویری ایبلز کے ذریعے کسٹم پورٹس، API key overrides، اور قابلِ ترتیب لاگنگ لیولز کی حمایت کرتا ہے۔ - Security: لاگز میں API keys کو صاف کرتا ہے (صرف آخری 4 حروف دکھاتا ہے) اور ڈیفالٹ طور پر localhost سے منسلک ہوتا ہے۔ - Integration: بیس URL کو مقامی پراکسی ایڈریس میں تبدیل کر کے کسی بھی OpenAI-compatible کلائنٹ یا SDK کے ساتھ ہم آہنگ ہے۔