منصوبے کے بارے میں

TAP (Token Analytics Proxy) ایک سیلف ہوسٹڈ مڈل ویئر ہے جسے ایک ایپلی کیشن اور LLM فراہم کنندگان (خاص طور پر OpenAI) کے درمیان نصب کرنے کے لیے ڈیزائن کیا گیا ہے۔ یہ ڈویلپرز کو اپنی ایپلی کیشن کی بنیادی لاجک میں تبدیلی کیے بغیر API ٹریفک کی نگرانی اور انتظام کرنے کی اجازت دیتا ہے۔ اہم صلاحیتوں میں شامل ہیں: - ٹریفک اینالیٹکس: PostgreSQL ڈیٹا بیس میں ہر کال کو ریکارڈ کرتا ہے، جس میں ماڈل کا استعمال، ٹوکن کی تعداد، لاگت، لیٹنسی (اسٹریمنگ کے لیے TTFT سمیت)، اور اسٹیٹس کوڈز کی ٹریکنگ شامل ہے۔ - کیشنگ: درخواست/جواب کے جوڑوں کو اسٹور کرنے کے لیے Redis کا استعمال کرتا ہے، جس سے یکساں درخواستوں کو کیش سے فراہم کیا جا سکتا ہے تاکہ لاگت اور لیٹنسی کو کم کیا جا سکے۔ - ریٹ لمیٹنگ: Redis کا استعمال کرتے ہوئے فی API کی (key) درخواست-فی-منٹ بجٹ نافذ کرتا ہے۔ - API Key مینجمنٹ: مختلف ایپس یا ٹیموں کی شناخت کے لیے کسٹم TAP کیز جاری کرنے کی اجازت دیتا ہے۔ - مانیٹرنگ ڈیش بورڈ: ایک React پر مبنی فرنٹ اینڈ جو والیم، فی ماڈل لاگت، رفتار، کیش ہٹ ریٹس، اور ایرر ریٹس کے لیے لائیو چارٹس فراہم کرتا ہے۔ یہ سسٹم اسٹریمنگ جوابات کو سپورٹ کرتا ہے اور ایک ایسی اسنکرونس اسٹیک کا استعمال کرتا ہے جس میں FastAPI، SQLAlchemy 2.0، اور Redis شامل ہیں۔ اس میں انتظامی کاموں کے لیے ایک CLI اور ڈویلپمنٹ کے لیے ایک موک (mock) اپ اسٹریم سرور شامل ہے جس کے لیے لائیو API کی کی ضرورت نہیں ہوتی۔