منصوبے کے بارے میں

zai-proxy ایک Go پر مبنی ریورس پراکسی ہے جو Z.AI Claude API کے سامنے بیٹھ کر مشاہدہ پذیری (observability) اور قابل اعتمادی کی خصوصیات شامل کرتا ہے جو خالی API رسائی میں نہیں ہوتیں۔ یہ دو اہم اجزاء پر مشتمل ہے: ایک پراکسی سروس اور ایک مانیٹرنگ ڈیش بورڈ۔ پراکسی پورٹ 8080 پر سنتا ہے، درخواستوں کو اپ اسٹریم LLM API تک بھیجتا ہے، اور Prometheus میٹرکس کو /metrics پر ایکسپورٹ کرتا ہے۔ اہم صلاحیتوں میں ٹوکن ٹریکنگ (API کی رپورٹ کردہ استعمال یا فالبیک کے طور پر tiktoken تخمینہ استعمال کرتے ہوئے ہر درخواست کے ان پٹ اور آؤٹ پٹ ٹوکن گننا)، انکولی ریٹ لمٹنگ (اپ اسٹریم 429 ردعمل کو EWMA سیلنگ ایسٹیمیٹر کے ساتھ ٹریک کرنا جو خود بخود حد سے ذرا نیچے رہتا ہے اور وقتاً فوقتاً سیلنگ میں اضافے کے لیے جانچ کرتا ہے)، اور بغیر بفرنگ کے SSE سٹریمنگ پاس-تھرو شامل ہیں۔ یہ DEPLOYMENT_VARIANT لیبل کے ذریعے بلیو/گرین اور کینری ڈپلائمنٹس کو بھی سپورٹ کرتا ہے تاکہ پراکسی ورژنز یا ماڈل کنفگریشنز کا آمنے سامنے موازنہ کیا جا سکے۔ ڈیش بورڈ ایک Go بیک اینڈ ہے جس میں React فرنٹ اینڈ ہے، جو ہر 5 سیکنڈ میں پراکسی کے Prometheus اینڈپوائنٹ کو سکریپ کرتا ہے، باؤنڈڈ ان میموری رِنگز میں دوہری ریزولیوشن سنیپ شاٹس برقرار رکھتا ہے (24 گھنٹے کے لیے 5 سیکنڈ ریزولیوشن، 7 دن کے لیے 1 منٹ ریزولیوشن)، اور SSE کے ذریعے براؤزر کو اپڈیٹس سٹریم کرتا ہے۔ یہ درخواست تھرو پٹ، لیٹنسی پرسنٹائلز، ٹوکن استعمال کے کل، ایرر ریٹس، اور فی ویریئنٹ موازنہ پینلز دکھاتا ہے۔ پراکسی Prometheus میٹرکس کا ایک جامع سیٹ ظاہر کرتا ہے جس میں درخواست کی تعداد، لیٹنسی ہسٹوگرامس، ٹوکن ریٹس، ایرر ریٹس، ریٹ لمٹ انتظار کے اوقات، دوبارہ کوششوں کی تعداد، ورکر استعمال، اور بلڈ معلومات شامل ہیں، یہ سب ماڈل اور ڈپلائمنٹ ویریئنٹ کے لحاظ سے لیبل شدہ ہیں۔ کنفگریشن API کیز، ٹارگٹ URLs، ریٹ لمٹنگ پیرامیٹرز، کوٹہ پولنگ، اور دوبارہ کوشش کے رویے پر محیط ماحولیاتی متغیرات کے ذریعے سنبھالی جاتی ہے۔