প্রকল্প সম্পর্কে

Local OptiMind API হলো একটি ওপেন-সোর্স, লোকালি-রান গেটওয়ে যা একটি একক OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্ট ব্যবহার করে একাধিক AI প্রোভাইডারের (OpenAI, DeepSeek, Anthropic, Groq, Together, local LLMs) মধ্যে LLM রিকোয়েস্টগুলো রাউট করে। এটি কনফিগারযোগ্য মোড যেমন: cost-first, quality-first, অথবা balanced-এর উপর ভিত্তি করে প্রতিটি রিকোয়েস্টের জন্য সর্বোত্তম প্রোভাইডার বুদ্ধিমানভাবে নির্বাচন করে। এই সিস্টেমটিতে অটোমেটিক মডেল ডিসকভারি, কাস্টম প্রাইসিং টিয়ার, এক্সপোনেনশিয়াল ব্যাকঅফ সহ হেলথ ট্র্যাকিং, রিকোয়েস্ট লগিং এবং SSE স্ট্রিমিং সাপোর্ট অন্তর্ভুক্ত রয়েছে। একটি অ্যাডমিন ড্যাশবোর্ডের মাধ্যমে ওয়েব UI-এর সাহায্যে প্রোভাইডার, মডেল, প্রাইসিং পরিচালনা এবং লগ দেখা সম্ভব। Python, JavaScript/TypeScript, Go, Java এবং .NET-এ অভিন্ন API সহ ক্লায়েন্ট উপলব্ধ। রাউটারটি ব্যর্থতার ক্ষেত্রে ফলব্যাক রাউটিং, সঠিক ম্যাচ না থাকলে টাস্ক-ভিত্তিক মডেল ইনফারেন্স সমর্থন করে এবং সহজ ডেপ্লয়মেন্টের জন্য Docker-এর সাথে ইন্টিগ্রেট করে। আর্কিটেকচারের মধ্যে হেলথ ফিল্টারিং, মডেল ম্যাচিং, স্কোরিং লজিক এবং এক্সিকিউশন লেয়ার অন্তর্ভুক্ত। কনফিগারেশন এনভায়রনমেন্ট ভেরিয়েবলের মাধ্যমে পরিচালিত হয়। এটি MIT লাইসেন্সপ্রাপ্ত এবং নতুন প্রোভাইডার অ্যাডাপ্টার, টোকেন কাউন্টিং এবং রাউটিং স্ট্র্যাটেজির জন্য অবদান আহ্বান করা হচ্ছে।