প্রকল্প সম্পর্কে

এই প্রজেক্টটি LiteLLM এবং LangChain ব্যবহার করে একটি LLM Gateway তৈরি করার পদ্ধতি দেখায়, যা একাধিক AI প্রদানকারীতে (OpenAI, Groq ইত্যাদি) একক OpenAI-কোম্প্যাটিবল API-র মাধ্যমে ঐক্যবদ্ধ অ্যাক্সেস সক্ষম করে। এতে বুদ্ধিমান মডেল রাউটিং, স্বয়ংক্রিয় ফেলওভার, লোড ব্যালেন্সিং, খরচ ট্র্যাকিং, ক্যাশিং, ওয়্যারেবিলিটি এবং PII রিড্যাকশন ও প্রম্পট ইনজেকশন ব্লকের মতো ইনপুট-সাইড গার্ডরেইলস অন্তর্ভুক্ত। প্রতিটি ধারণা ধাপে ধাপে পরিচালনা করে এমন একটি রান্নযোগ্য Jupyter নোটবুকের মাধ্যমে এটি উপস্থাপন করা হয়েছে, বেসিক ইউনিফাইড API কল থেকে শুরু করে config.yaml ব্যবহার করে প্রোডাকশন-রেডি প্রক্সি সার্ভার সেটআপ পর্যন্ত। এটি LangChain চেইনের সাথে মসৃণভাবে ইন্টিগ্রেট হয় এবং অটোস্কেলিং অবকাঠামোর পেছনে ডিপ্লয়মেন্ট সমর্থন করে। সেরা অভ্যাসের মধ্যে রয়েছে Redis ক্যাশিং, প্রতি-ব্যবহারকারী রেট লিমিট, ওয়ারেবিলিটি ব্যাকএন্ডে লগিং, এবং ভার্সন-কন্ট্রোলড কনফিগারেশন। গেটওয়ে প্রদানকারী-নির্দিষ্ট SDK-কে আবstrasct করে, যাতে দলরা কোড পরিবর্তন ছাড়াই মডেল বা প্রদানকারী বদলাতে পারে, একসাথে খরচ, ল্যাটেন্সি এবং সিকিউরিটি নিয়ন্ত্রণকে কেন্দ্রীভূত করে।