প্রকল্প সম্পর্কে

LLM Gateway হলো OpenAI চ্যাট কমপ্লিশনস API-এর জন্য একটি ক্যাশিং রিভার্স প্রক্সি, যা Redis থেকে পুনরাবৃত্ত বা বাক্যগতভাবে সদৃশ প্রশ্ন পরিবেশনের মাধ্যমে খরচ কমায়। এতে দুটি ক্যাশ স্তর সমর্থিত: একাঙ্ক মিল (প্রম্পট নর্মলাইজেশন) এবং বাক্যগত মিল (Redis Stack-এ ভেক্টর সার্চ ব্যবহার করে)। অনুসরণমূলক প্রশ্নগুলো ইম্বেড করার আগে স্ট্যান্ডঅ্যালোন রূপে পুনর্লিখিত হয়, ফলে কনভার্সেশন-জুড়ে মিলন সম্ভব হয়। FastAPI এবং Redis Stack দিয়ে তৈরি, এটি প্রতিটি অনুরোধ কোন স্তর থেকে আসছে তা যাচাইয়ের জন্য X-Cache হেডার যুক্ত করে। লোকাল সেটআপের জন্য Python 3.12+, Docker, এবং একটি OpenAI কী প্রয়োজন। এতে একটি ডেমো প্লেগ্রাউন্ড, লোড টেস্টিং, এবং মেট্রিক্স রয়েছে: একাঙ্ক হিট প্রায় 2ms, বাক্যগত হিট প্রায় 250ms, এবং মিস 1–4s। এটি Redis Stack সহ একটি স্টেটলেস কন্টেইনার হিসেবে ডিপ্লয় করার জন্য tasarlanmıştır; বাজেট নিয়ন্ত্রণ, রেট লিমিট, এবং পাবলিক ডেমোর জন্য মোডারেশন সমর্থন করে। ক্যাশ এন্ট্রিগুলো এক ঘণ্টা পর মেয়াদ শেষ হয়; স্ট্রিমিং সাপোর্ট বা অথেন্টিকেশন স্তর নেই।