প্রকল্প সম্পর্কে

Omni Gateway Local হল একটি হালকা ওজনের API গেটওয়ে, যা একাধিক বড় ভাষা মডেল (LLM) প্রদানকারীর সঙ্গে ইন্টারঅ্যাকশন সহজ করার জন্য ডিজাইন করা হয়েছে। এটি /v1/chat/completions-এ একটি একক, মানসম্মত OpenAI-সামঞ্জস্যপূর্ণ ইন্টারফেস প্রদান করে, যাতে ডেভেলপাররা একই ক্লায়েন্ট কোড ব্যবহার করতে পারেন, যদিও ভিত্তিক মডেলটি স্থানীয়ভাবে (যেমন Ollama ব্যবহার করে) অথবা দূরবর্তীভাবে (যেমন OpenAI, Anthropic, Gemini) চলুক। গেটওয়ে অনুরোধের 'model' প্যারামিটারের ভিত্তিতে গতিশীলভাবে রিকোয়েস্ট রাউট করে। FastAPI এবং LiteLLM-এ নির্মিত, এটি Server-Sent Events (SSE) মাধ্যমে স্ট্রিমিং সমর্থন করে এবং সেটআপ খুবই সহজ: pip দিয়ে ইনস্টল করুন, API কী-এর জন্য পরিবেশ ভেরিয়েবল সেট করুন, এবং সার্ভার চালু করুন। বিভিন্ন মডেল নিয়ে পরীক্ষা-নিরীক্ষা করা, স্থানীয় AI অ্যাপ্লিকেশন তৈরি করা, অথবা প্রদানকারী-নির্দিষ্ট API-গুলোর উপর বিমূর্ততা চাইতে ডেভেলপারদের জন্য আদর্শ। MIT লাইসেন্সযুক্ত।