প্রকল্প সম্পর্কে

AI Gateway হলো একটি বুদ্ধিমান রুটিং ইনফ্রাস্ট্রাকচার যা উৎপাদন পরিবেশে LLM ব্যবহার অপ্টিমাইজ করার জন্য ডিজাইন করা হয়েছে। এটি ইন্টেন্ট ক্লাসিফিকেশন, খরচ দক্ষতা এবং রিয়েল-টাইম প্রদানকারী স্বাস্থ্য মাপকাঠি অনুযায়ী প্রতিটি অনুরোধ সবচেয়ে উপযুক্ত মডেলে গতিশীলভাবে রুট করে। সিস্টেমটি সাধারণ প্রশ্নের জন্য ব্যয়বহুল মডেলের খরচ এড়াতে তাদের সস্তা মডেলে পাঠায় এবং জটিল কাজের জন্য শক্তিশালী যৌক্তিক মডেল সংরক্ষণ করে। Node.js এবং Express দিয়ে তৈরি, এটি Groq এবং Google Gemini-এর মতো প্রদানকারীদের সাথে ইন্টিগ্রেট করে, ইন্টেন্ট সনাক্তকরণের জন্য লোকাল BGE এমবেডিং বা হোস্টেড বিকল্প ব্যবহার করে। প্রধান বৈশিষ্ট্যগুলোর মধ্যে রয়েছে দৈনিক কোটা সহ মাল্টি-টেনেন্ট API কী ব্যবস্থাপনা, দুই-স্তরের ক্যাশিং (নির্ভুল + অর্থপূর্ণ), স্বয়ংক্রিয় ফেইলওভার এবং সস্তা থেকে যৌক্তিক মডেলে আত্মবিশ্বাস-ভিত্তিক স্কেলেশন। স্বাস্থ্য-চেতনা সম্পন্ন নির্বাচন Welford-এর অ্যালগরিদম ব্যবহার করে প্রতিটি মডেলের জন্য লেটেন্সি এবং ব্যর্থতার হার ট্র্যাক করে, গতিশীল রুরুট সরবরাহ করে। অ্যাডমিন এন্ডপয়েন্টের মাধ্যমে ক্যাশ হিট রেট, লেটেন্সি এবং প্রতি-টেনেন্ট ব্যবহার দেখানো হয় — এখানে পর্যবেক্ষণ বিল্ট-ইন। Redis ব্যবহার করা হয় পERSISTENCE এবং ক্যাশিং-এর জন্য, উন্নয়নের জন্য ইন-মেমোরি ফলব্যাক সহ। আর্কিটেকচার মডিউলার, পরীক্ষণযোগ্য এবং Koyeb সহ Upstash Redis দিয়ে ডিপ্লয়যোগ্য। এটি কোনো চ্যাটবট বা সিঙ্গেল-মডেল ওয়েবপার নয়, বরং একটি কন্ট্রোল প্লেন হিসেবে কার্যকরিত যেখানে নির্ভরযোগ্যতা বৃদ্ধি, খরচ হ্রাস এবং AI মডেল অপারেশনের পূর্ণ দৃশ্যমানতা দেওয়া হয়।