इस प्रोजेक्ट के बारे में

Council Router एक इंटेलिजेंट प्रॉक्सी सर्वर है जिसे एक एकल OpenAI-संगत API एंडपॉइंट के माध्यम से कई लार्ज लैंग्वेज मॉडल (LLM) बैकएंड्स — जिसमें Ollama, OpenAI, Anthropic, Gemini और LiteLLM के माध्यम से 100 से अधिक अन्य शामिल हैं — तक पहुंच को एकीकृत करने के लिए डिज़ाइन किया गया है। यह प्राथमिकता-आधारित चयन, राउंड-रॉबिन लोड बैलेंसिंग और स्वचालित मॉडल फॉलबैक चेन जैसी सुविधाओं के साथ विषम LLM सर्वरों के बीच निर्बाध रूटिंग सक्षम करता है। यह सिस्टम लेटेंसी को कम करने के लिए उन बैकएंड्स को प्राथमिकता देता है जहाँ अनुरोधित मॉडल पहले से ही VRAM में लोड होता है। एक प्रमुख विशेषता "LLM Council" मोड है, जो कई मॉडलों या पर्सोना को अंतिम उत्तर संश्लेषित करने से पहले समानांतर में उपयोगकर्ता के प्रश्न पर विचार-विमर्श करने की अनुमति देता है — यह जटिल निर्णय लेने या कोड रिव्यू परिदृश्यों के लिए उपयोगी है। बिल्ट-इन टेम्पलेट्स में विविध विश्लेषण, कोड रिव्यू और डिबेट मोड शामिल हैं, जिसमें कस्टम YAML-परिभाषित काउंसिल्स का समर्थन है। सभी प्रतिक्रियाएं वैकल्पिक रूप से ऑफलाइन विश्लेषण के लिए कंप्रेस्ड SQLite में संग्रहीत की जाती हैं, जिसमें इंटरमीडिएट थिंकिंग टोकन भी शामिल होते हैं। Prometheus मेट्रिक्स अनुरोध दरों, लेटेंसी, टोकन उपयोग और बैकएंड हेल्थ को ट्रैक करते हैं, जिसमें Docker Compose के माध्यम से एक प्री-कॉन्फ़िगर Grafana डैशबोर्ड उपलब्ध है। यह सेवा OpenAI एंडपॉइंट्स के साथ-साथ नेटिव Ollama एंडपॉइंट्स भी एक्सपोज़ करती है, जिससे यह Open WebUI जैसे टूल के साथ संगत हो जाती है। सुरक्षा के मामले में, इन्फरेंस एंडपॉइंट्स डिफ़ॉल्ट रूप से अनऑथेंटिकेटेड होते हैं (विश्वसनीय नेटवर्क के लिए अभिप्रेत), जबकि एडमिन एंडपॉइंट्स के लिए Bearer टोकन की आवश्यकता होती है। रिस्पॉन्स स्टोरेज डिफ़ॉल्ट रूप से सक्षम है लेकिन एन्क्रिप्टेड नहीं है, इसलिए संवेदनशील प्रॉम्प्ट्स को सावधानी से संभाला जाना चाहिए। यह प्रोजेक्ट FastAPI के साथ बनाया गया है, Python 3.12+ पर चलता है, और इसमें पूर्ण टेस्ट कवरेज (127 पासिंग टेस्ट) शामिल है। Docker Compose मॉनिटरिंग के साथ एक रेडी-टू-रन स्टैक प्रदान करता है। कॉन्फ़िगरेशन YAML के माध्यम से प्रबंधित किया जाता है, जो एनवायरनमेंट वेरिएबल इंजेक्शन का समर्थन करता है। डेवलपमेंट टूल्स में लिंटिंग, फॉर्मेटिंग और टेस्टिंग स्क्रिप्ट शामिल हैं।