প্রকল্প সম্পর্কে

এই প্রকল্পটি একটি একীভূত REST API প্রদান করে যা একক সঙ্গতিপূর্ণ ইন্টারফেসের পেছনে একাধিক AI সেবা প্রদানকারী — যেমন Ollama, OpenAI, Google Gemini এবং Hugging Face — কে বিমূর্ত করে। এটি ডেভেলপারদেরকে ক্লায়েন্ট কোড পরিবর্তন না করে প্রদানকারী পরিবর্তন বা একত্রিত করতে সক্ষম করে। API টেক্সট জেনারেশন, চ্যাট কমপ্লিশন, ইমেজ-ভিত্তিক প্রম্পট (মাল্টিমোডাল) এবং এম্বেডিংস সমর্থন করে। বৈশিষ্ট্যগুলোর মধ্যে রয়েছে API কী দ্বারা ঐচ্ছিক প্রমাণীকরণ, রিয়েল-টাইম স্ট্রিমিং রেসপন্স, স্বয়ংক্রিয় প্রদানকারী রাউটিং, এবং স্বয়ং-উৎপন্ন OpenAPI ডকুমেন্টেশন। এটি Docker Compose অথবা লোকাল Python এক্সিকিউশন ব্যবহার করে সহজ ডিপ্লয়মেন্টের জন্য ডিজাইন করা হয়েছে। কনফিগারেশন পরিবেশ ভেরিয়েবলগুলোর মাধ্যমে পরিচালিত হয়, যা পৃথক প্রদানকারী সক্রিয়/নিষ্ক্রিয় করা এবং মডেল-নির্দিষ্ট প্যারামিটার সেট করার সুযোগ দেয়। সিস্টেমটি স্বাস্থ্য পরীক্ষা এবং মডেল তালিকা এন্ডপয়েন্টও প্রকাশ করে। বিস্তৃতযোগ্য আর্কিটেকচার নতুন প্রদানকারী যোগ করার অনুমতি দেয়। ম্যানেজমেন্ট কমান্ড (Makefile এর মাধ্যমে) স্টার্ট, স্টপ, লগ এবং শেল অ্যাক্সেসের মতো লাইফসাইকেল অপারেশন সহজ করে। MIT লাইসেন্সযুক্ত।