প্রকল্প সম্পর্কে

Unified LLM Engine হলো একটি পাইথন লাইব্রেরি যা OpenAI, Anthropic, Gemini, Azure, AWS Bedrock এবং Ollama সহ একাধিক বড় ভাষ্য মডেল (LLM) প্রদানকারীদের সাথে ইন্টারঅ্যাকশনকে অপভাস্ট্রেট করে। ডেভেলপারদের কোড পরিবর্তন না করেই প্রদানকারী বিনিময় বা সংযোজন করতে এটি একটি একীকৃত ইন্টারফেস প্রদান করে। এর প্রধান বৈশিষ্ট্যগুলো হলো: একটি ব্যর্থ হলে স্বয়ংক্রিয় প্রদানকারী ফলব্যাক, রিয়েল-টাইম খরচ ও টোকেন ব্যবহার ট্র্যাকিং, অপ্রয়োজনীয় কল কমাতে বুদ্ধিমান প্রতিক্রিয়া ক্যাশিং, রিয়েল-টাইম আউটপুটের জন্য স্ট্রিমিং সাপোর্ট, এবং উচ্চ পারফরম্যান্সের জন্য অ্যাসিঙ্ক-ফার্স্ট ডিজাইন। ইঞ্জিন মডেলের উপলব্ধতা, লোড এবং কনফিগার করা পছন্দসমূহের ভিত্তিতে অনুরোধ বুদ্ধিমানভাবে রাউট করে। ব্যবহারকারের API কী-এর জন্য এনভায়রনমেন্ট ভেরিয়েবল দিয়ে ইঞ্জিন আরম্ভ করতে পারে এবং ঐচ্ছিকভাবে ক্যাশিং সক্রিয় করে ডিফল্ট মডেল সেট করতে পারে। খরচের সারাংশ প্রতিটি মডেল ও সেশন জুড়ে একত্রিতভাবে পাওয়া যায়। আর্কিটেকচার কোর রাউটিং লজিককে ব্যক্তিগত প্রদানকারী ইমপ্লিমেন্টেশন থেকে পৃথক করে, যা প্রশারণযোগ্যতা নিশ্চিত করে। উদাহরণ ও টেস্ট অন্তর্ভুক্ত, এবং প্রকল্প MIT লাইসেন্সিং অনুসরণ করে। এটি LLM ইন্টিগ্রেশনে স্থিতিস্থাপকতা, খরচ নিয়ন্ত্রণ বা একাধিক-প্রদানকারী নমনীয়তা প্রয়োজন এমন অ্যাপ্লিকেশনের জন্য আদর্শ।