প্রকল্প সম্পর্কে

CogniGate হলো একটি ওপেন-সোর্স, সেলফ-হোস্টেড LLM গেটওয়ে যা অ্যাপ্লিকেশন এবং বিভিন্ন AI মডেল প্রোভাইডারের মাঝে অবস্থান করার জন্য ডিজাইন করা হয়েছে। এটি অ্যাপ্লিকেশনগুলোকে একটি একক OpenAI-কম্প্যাটিবল API কী ব্যবহার করতে দেয়, যেখানে প্রকৃত প্রোভাইডার ক্রেডেনশিয়ালগুলো ডেপ্লয়মেন্টের ভেতরে সুরক্ষিত থাকে। এর মূল ক্ষমতাগুলোর মধ্যে রয়েছে: - OpenAI-Compatible API: কোড পরিবর্তনের প্রয়োজন ছাড়াই বিদ্যমান SDK-গুলোর সাথে ইন্টিগ্রেট করে। - Capability Aliases: নির্দিষ্ট মডেল নির্ধারণ করতে `fast`, `balanced`, এবং `best`-এর মতো এলিয়াস ব্যবহার করে, যার ফলে ক্লায়েন্টরা নির্দিষ্ট মডেল ভার্সন সম্পর্কে অজ্ঞ থাকলেও চলে। - Fallback Chains & Circuit Breakers: নির্ভরযোগ্যতা নিশ্চিত করতে মডেল রোটেশনের জন্য অর্ডারেড ক্যাসকেড এবং 429/5xx ত্রুটির জন্য এক্সপোনেনশিয়াল ব্যাকঅফ বাস্তবায়ন করে। - Per-Tenant Quotas: সাইজিংয়ের জন্য একটি 'observe' মোডসহ টোকেন এবং ব্যয়ের সীমা সমর্থন করে। - Durable Usage Metering: টেন্যান্ট, মডেল বা প্রোভাইডার অনুযায়ী অ্যানালিটিক্সের জন্য PostgreSQL-এ সমস্ত রিকোয়েস্ট রেকর্ড করে। সিস্টেম আর্কিটেকচারটি রিকোয়েস্ট হ্যান্ডলিংয়ের জন্য একটি Go-ভিত্তিক Gateway এবং ডিউরেবল মিটারিংয়ের জন্য একটি Java/Spring Boot Analytics ইঞ্জিন নিয়ে গঠিত। এটি Together, Groq, Fireworks, vLLM, Ollama এবং Azure OpenAI সহ OpenAI ওয়্যার ফরম্যাট বাস্তবায়ন করে এমন যেকোনো প্রোভাইডারকে সমর্থন করে।