عن المشروع

zai-proxy هو وكيل عكسي مبني بلغة Go يقع أمام واجهة Z.AI Claude API، ويضيف ميزات المراقبة والموثوقية التي تفتقر إليها الوصول المباشر للواجهة. يتكون من مكونين رئيسيين: خدمة الوكيل ولوحة المراقبة. يستمع الوكيل على المنفذ 8080، ويعيد توجيه الطلبات إلى واجهة LLM العلوية، ويصدر مقاييس Prometheus في /metrics. تشمل القدرات الرئيسية تتبع الرموز (عدّ رموز الإدخال والإخراج لكل طلب باستخدام الاستخدام المبلغ عنه من الواجهة أو تقدير tiktoken كبديل)، وتحديد المعدل التكيفي (تتبع استجابات 429 العلوية مع مقدر سقف EWMA الذي يبقى تلقائيًا أسفل الحد ويستقصي دوريًا زيادات السقف)، وتمرير تدفق SSE دون تخزين مؤقت. كما يدعم عمليات النشر الأزرق/الأخضر والكناري عبر وسم DEPLOYMENT_VARIANT لمقارنة إصدارات الوكيل أو تكوينات النماذج جنبًا إلى جنب. لوحة المراقبة هي خلفية Go مع واجهة أمامية React تجمع نقطة نهاية Prometheus للوكيل كل 5 ثوانٍ، وتحافظ على لقطات بدقة مزدوجة في حلقات ذاكرة محدودة (دقة 5 ثوانٍ لمدة 24 ساعة، ودقة دقيقة واحدة لمدة 7 أيام)، وتبث التحديثات إلى المتصفح عبر SSE. تعرض إنتاجية الطلبات، ونسب الكمون، وإجمالي استخدام الرموز، ومعدلات الأخطاء، ولوحات مقارنة لكل متغير. يكشف الوكيل عن مجموعة شاملة من مقاييس Prometheus بما في ذلك أعداد الطلبات، ومخططات الكمون، ومعدلات الرموز، ومعدلات الأخطاء، وأوقات انتظار تحديد المعدل، ومحاولات إعادة المحاولة، واستخدام العمال، ومعلومات البناء، جميعها مصنفة حسب النموذج ومتغير النشر. تتم إدارة التكوين عبر متغيرات البيئة التي تغطي مفاتيح API، وعناوين الأهداف، ومعلمات تحديد المعدل، واستقصاء الحصص، وسلوك إعادة المحاولة.