منصوبے کے بارے میں

Council Router ایک ذہین پراکسی سرور ہے جسے متعدد لارج لینگویج ماڈل (LLM) بیک اینڈز — بشمول Ollama, OpenAI, Anthropic, Gemini، اور LiteLLM کے ذریعے 100 سے زائد دیگر ماڈلز — تک رسائی کو ایک واحد OpenAI-مطابق API اینڈ پوائنٹ کے ذریعے متحد کرنے کے لیے ڈیزائن کیا گیا ہے۔ یہ ترجیحی بنیادوں پر انتخاب، راؤنڈ رابن لوڈ بیلنسنگ، اور خودکار ماڈل فال بیک چینز جیسی خصوصیات کے ساتھ مختلف LLM سرورز کے درمیان ہموار راؤٹنگ کو ممکن بناتا ہے۔ یہ سسٹم ذہانت کے ساتھ ان بیک اینڈز کو ترجیح دیتا ہے جہاں مطلوبہ ماڈل پہلے سے VRAM میں لوڈ ہو تاکہ لیٹنسی کو کم کیا جا سکے۔ ایک نمایاں خصوصیت "LLM Council" موڈ ہے، جو متعدد ماڈلز یا پرسوناز کو صارف کی استفسار پر متوازی طور پر غور کرنے کی اجازت دیتا ہے اس سے پہلے کہ ایک حتمی جواب تیار کیا جائے — یہ پیچیدہ فیصلہ سازی یا کوڈ ریویو کے منظرناموں کے لیے مفید ہے۔ بلٹ ان ٹیمپلیٹس میں متنوع تجزیہ، کوڈ ریویو، اور بحث کے موڈز شامل ہیں، جس میں کسٹم YAML-ڈیفائنڈ کونسلز کی سپورٹ موجود ہے۔ تمام جوابات اختیاری طور پر آف لائن تجزیہ کے لیے کمپریسڈ SQLite میں محفوظ کیے جاتے ہیں، بشمول درمیانی سوچ کے ٹوکنز۔ Prometheus میٹرکس درخواست کی شرح، لیٹنسی، ٹوکن کے استعمال، اور بیک اینڈ کی صحت کو ٹریک کرتے ہیں، جس کے لیے Docker Compose کے ذریعے ایک پری-کنفیگرڈ Grafana ڈیش بورڈ دستیاب ہے۔ یہ سروس OpenAI اینڈ پوائنٹس کے ساتھ ساتھ مقامی Ollama اینڈ پوائنٹس بھی فراہم کرتی ہے، جس سے یہ Open WebUI جیسے ٹولز کے ساتھ ہم آہنگ ہو جاتی ہے۔ سیکیورٹی کے لحاظ سے، انفرنس اینڈ پوائنٹس ڈیفالٹ طور پر غیر تصدیق شدہ ہوتے ہیں (جو کہ قابل اعتماد نیٹ ورکس کے لیے بنائے گئے ہیں)، جبکہ ایڈمن اینڈ پوائنٹس کے لیے Bearer ٹوکن کی ضرورت ہوتی ہے۔ جوابات کی اسٹوریج ڈیفالٹ طور پر فعال ہے لیکن انکرپٹڈ نہیں ہے، اس لیے حساس پرامپٹس کو احتیاط سے سنبھالنا چاہیے۔ یہ پروجیکٹ FastAPI کے ساتھ بنایا گیا ہے، Python 3.12+ پر چلتا ہے، اور مکمل ٹیسٹ کوریج (127 کامیاب ٹیسٹ) پر مشتمل ہے۔ Docker Compose مانیٹرنگ کے ساتھ ایک تیار اسٹیک فراہم کرتا ہے۔ کنفیگریشن YAML کے ذریعے مینیج کی جاتی ہے، جو انوائرمنٹ ویری ایبل انجکشن کو سپورٹ کرتی ہے۔ ڈویلپمنٹ ٹولز میں لنٹنگ، فارمیٹنگ، اور ٹیسٹنگ اسکرپٹس شامل ہیں۔