منصوبے کے بارے میں

ایل ایل ایم کیچ پروکسی OpenAI API کے لیے کیچنگ تہہ ہے جو FastAPI کے ساتھ بنائی گئی ہے۔ یہ OpenAI چیٹ کمپلیشن اینڈ پوائنٹ پر آنے والی درخواستوں کو رکنے دیتی ہے اور یکساں درخواستوں کے لیے محفوظ کردہ جوابات فراہم کرتی ہے، جو ڈویلپمنٹ کے دوران API اخراجات اور ری سانسپ لینسی کو بہتر بناتی ہے۔ اہم صلاحیتیں: - دونوں اسٹریمنگ اور نان اسٹریمنگ موڈز کے ساتھ OpenAI API کے جوابات کا ذخیرہ - چیٹ کمپلیشن اینڈ پوائنٹس کے لیے OpenAI API مطابقت - دوبارہ شروع کرنے پر بھی ڈیٹا برقرار رکھنے کے لیے مستقل کیچ اسٹورج - Python یا Docker کے ذریعے ڈپلائمنٹ کے اختیارات - دو مختلف اینڈ پوائنٹس: محفوظ شدہ درخواستوں کے لیے `/cache/chat/completions` اور غیر محفوظ شدہ درخواستوں کے لیے `/chat/completions`