عن المشروع

Council Router هو خادم بروكسي ذكي مصمم لتوحيد الوصول إلى خلفيات متعددة لنماذج اللغة الكبيرة (LLM) — بما في ذلك Ollama وOpenAI وAnthropic وGemini وأكثر من 100 نموذج آخر عبر LiteLLM — من خلال نقطة نهاية واحدة لواجهة برمجة تطبيقات متوافقة مع OpenAI. يتيح التوجيه السلس عبر خوادم LLM غير المتجانسة مع ميزات مثل الاختيار القائم على الأولويات، وموازنة الحمل بنظام round-robin، وسلاسل التراجع التلقائي للنماذج. يفضل النظام بذكاء الخلفيات التي يكون فيها النموذج المطلوب محملًا بالفعل في VRAM لتقليل زمن الاستجابة. تعد ميزة "LLM Council" ميزة بارزة، حيث تسمح لنماذج أو شخصيات متعددة بالتداول بشأن استعلام المستخدم بالتوازي قبل تركيب إجابة نهائية — وهو أمر مفيد لسيناريوهات اتخاذ القرار المعقدة أو مراجعة الكود. تتضمن القوالب المدمجة أوضاعًا متنوعة للتحليل ومراجعة الكود والمناظرة، مع دعم للمجالس المحددة مخصصًا عبر YAML. يتم تخزين جميع الاستجابات اختياريًا في SQLite مضغوط للتحليل دون اتصال بالإنترنت، بما في ذلك رموز التفكير الوسيطة. تتبع مقاييس Prometheus معدلات الطلبات، وزمن الاستجابة، واستخدام الرموز (tokens)، وصحة الخلفيات، مع توفر لوحة تحكم Grafana مهيأة مسبقًا عبر Docker Compose. كما يوفر الخدمة نقاط نهاية Ollama أصلية إلى جانب نقاط نهاية OpenAI، مما يجعلها متوافقة مع أدوات مثل Open WebUI. من الناحية الأمنية، تكون نقاط نهاية الاستدلال غير مصادق عليها افتراضيًا (مخصصة للشبكات الموثوقة)، بينما تتطلب نقاط نهاية المسؤول رمز Bearer. تخزين الاستجابات مفعل افتراضيًا ولكنه غير مشفر، لذا يجب التعامل مع المطالبات الحساسة بحذر. تم بناء المشروع باستخدام FastAPI، ويعمل على Python 3.12+، ويتضمن تغطية اختبار كاملة (127 اختبارًا ناجحًا). يوفر Docker Compose حزمة جاهزة للتشغيل مع المراقبة. يتم إدارة التكوين عبر YAML، مع دعم حقن متغيرات البيئة. تشمل أدوات التطوير نصوص linting والتنسيق والاختبار.