منصوبے کے بارے میں

LLM Gateway اوپن ای آئی چیٹ کمپلیشنز API کے لیے ایک کیچنگ ریورس پراکسی ہے جو ریدس سے دہرائی یا متناسب طور پر ملتی جلتی سوالات کو سروس کرکے لاگت کم کرتی ہے۔ یہ دو کیچ ٹیئرز سپورٹ کرتی ہے: ایکسیٹ میچ (پرومپٹس کو نارملائز کرنا) اور سیمنٹک میچ (ریدس اسٹیک کے ذریعے ویکٹر سرچ استعمال کرکے)۔ فالو اپ سوالات کو انباڈنگ سے پہلے اسٹینڈالن فارم میں دوبارہ لکھا جاتا ہے تاکہ کراس کنورسیشن میچنگ ممکن ہو سکے۔ FastAPI اور ریدس اسٹیک کے ساتھ بنایا گیا، یہ X-Cache ہیڈرز شامل کرتا ہے تاکہ صارفین تصدیق کر سکیں کہ ہر درخواست کو کس ٹیئر نے سروس کیا۔ مقامی سیٹ اپ کے لیے Python 3.12+، Docker، اور اوپن ای آئی کی کا درکار ہے۔ اس میں ڈیمو پلے گراؤنڈ، لوڈ ٹیسٹنگ، اور میٹرکس شامل ہیں جو ایکسیٹ ہٹس کو ~2ms، سیمنٹک ہٹس کو ~250ms، اور مسز کو 1–4s دکھاتے ہیں۔ اسے ریدس اسٹیک کے ساتھ اسٹیٹ لیس کنٹینر کے طور پر ڈپلائے کرنے کے لیے ڈیزائن کیا گیا ہے، یہ بجٹ کنٹرولز، ریٹ لمٹس، اور پبلک ڈیموز کے لیے فعال ہونے پر مڈریشن سپورٹ کرتا ہے۔ کیچ انٹریز ایک گھنٹے بعد منسوخ ہو جاتی ہیں؛ اسٹیمنگ سپورٹ یا اتھنٹیکیشن لیئر شامل نہیں ہے۔