منصوبے کے بارے میں

CogniGate ایک اوپن سورس، سیلف ہوسٹڈ LLM گیٹ وے ہے جسے ایپلی کیشنز اور مختلف AI ماڈل فراہم کنندگان کے درمیان نصب کرنے کے لیے ڈیزائن کیا گیا ہے۔ یہ ایپلی کیشنز کو ایک واحد OpenAI ہم آہنگ API کی (key) استعمال کرنے کی اجازت دیتا ہے جبکہ اصل فراہم کنندہ کے کریڈنشلز تعیناتی کے اندر محفوظ رہتے ہیں۔ اہم صلاحیتوں میں شامل ہیں: - OpenAI ہم آہنگ API: کوڈ میں تبدیلی کے بغیر موجودہ SDKs کے ساتھ ضم ہوتا ہے۔ - Capability Aliases: مخصوص ماڈلز کے لیے `fast`، `balanced` اور `best` جیسے نام استعمال کرتا ہے، جس سے کلائنٹس مخصوص ماڈل ورژن سے بے نیاز رہتے ہیں۔ - Fallback Chains اور Circuit Breakers: ماڈل کی گردش کے لیے ترتیب وار کیسکیڈز اور 429/5xx غلطیوں کے لیے ایکسپونینشل بیک آف (exponential backoff) نافذ کرتا ہے تاکہ قابل بھروسہ ہونے کو یقینی بنایا جا سکے۔ - Per-Tenant Quotas: سائزنگ کے لیے 'observe' موڈ کے ساتھ ٹوکن اور اخراجات کی حد (caps) کی حمایت کرتا ہے۔ - Durable Usage Metering: ہر ٹیننٹ، ماڈل یا فراہم کنندہ کے تجزیات کے لیے PostgreSQL میں تمام درخواستوں کا ریکارڈ رکھتا ہے۔ سسٹم آرکیٹیکچر میں درخواستوں کی ہینڈلنگ کے لیے Go پر مبنی Gateway اور پائیدار میٹرنگ کے لیے Java/Spring Boot Analytics انجن شامل ہے۔ یہ ہر اس فراہم کنندہ کی حمایت کرتا ہے جو OpenAI وائر فارمیٹ نافذ کرتا ہے، بشمول Together، Groq، Fireworks، vLLM، Ollama، اور Azure OpenAI۔