عن المشروع

CogniGate هي بوابة LLM مفتوحة المصدر وذاتية الاستضافة، مصممة لتكون وسيطاً بين التطبيقات ومزودي نماذج الذكاء الاصطناعي المختلفين. وهي تتيح للتطبيقات استخدام مفتاح API واحد متوافق مع OpenAI بينما تظل بيانات اعتماد المزود الفعلي آمنة داخل عملية النشر. تشمل القدرات الرئيسية ما يلي: - واجهة برمجة تطبيقات متوافقة مع OpenAI: تتكامل مع مجموعات أدوات تطوير البرمجيات (SDKs) الحالية دون الحاجة إلى تغييرات في الكود. - أسماء مستعارة للقدرات (Capability Aliases): تستخدم أسماء مستعارة مثل `fast` و `balanced` و `best` للإشارة إلى نماذج محددة، مما يسمح للعملاء بالبقاء بمعزل عن إصدارات النماذج المحددة. - سلاسل التراجع وقواطع الدائرة (Fallback Chains & Circuit Breakers): تنفذ تسلسلات مرتبة لتدوير النماذج وتراجعً أسياً للأخطاء من نوع 429/5xx لضمان الموثوقية. - حصص لكل مستأجر (Per-Tenant Quotas): تدعم حدوداً للرموز (tokens) والإنفاق مع وضع 'مراقبة' لتحديد الحجم المناسب. - قياس استخدام مستدام: تسجل جميع الطلبات في PostgreSQL للتحليلات حسب المستأجر أو النموذج أو المزود. تتكون بنية النظام من بوابة تعتمد على لغة Go لمعالجة الطلبات، ومحرك تحليلات يعتمد على Java/Spring Boot للقياس المستدام. وهي تدعم أي مزود يطبق تنسيق OpenAI السلكي، بما في ذلك Together و Groq و Fireworks و vLLM و Ollama و Azure OpenAI.