عن المشروع

إن TAP (Token Analytics Proxy) هو برنامج وسيط يستضاف ذاتياً، مصمم ليكون حلقة وصل بين التطبيق ومزودي LLM (تحديداً OpenAI). وهو يتيح للمطورين مراقبة وإدارة حركة مرور API دون الحاجة إلى تعديل المنطق الأساسي لتطبيقاتهم. تشمل القدرات الرئيسية ما يلي: - تحليلات حركة المرور: تسجيل كل استدعاء في قاعدة بيانات PostgreSQL، وتتبع استخدام النماذج، وعدد التوكنز (tokens)، والتكاليف، وزمن الاستجابة (بما في ذلك TTFT للبث)، وأكواد الحالة. - التخزين المؤقت (Caching): استخدام Redis لتخزين أزواج الطلب/الاستجابة، مما يسمح بتقديم الطلبات المتطابقة من ذاكرة التخزين المؤقت لتقليل التكاليف وزمن الاستجابة. - تحديد معدل الطلبات (Rate Limiting): تنفيذ ميزانيات للطلبات في الدقيقة لكل مفتاح API باستخدام Redis. - إدارة مفاتيح API: السماح بإصدار مفاتيح TAP مخصصة لتحديد التطبيقات أو الفرق المختلفة. - لوحة مراقبة: واجهة أمامية تعتمد على React توفر مخططات حية لحجم الحركة، والتكلفة لكل نموذج، والسرعة، ومعدلات نجاح التخزين المؤقت، ومعدلات الخطأ. يدعم النظام الاستجابات المتدفقة (streaming responses) ويستخدم بنية غير متزامنة تضم FastAPI و SQLAlchemy 2.0 و Redis. كما يتضمن واجهة سطر أوامر (CLI) للمهام الإدارية وخادماً وهمياً (mock upstream server) للتطوير دون الحاجة إلى مفتاح API نشط.