ওপেন সোর্স। নতুন সম্ভাবনা।

CogniGate হলো একটি সেলফ-হোস্টেড, মাল্টি-টেন্যান্ট LLM গেটওয়ে যা একাধিক মডেল প্রোভাইডার পরিচালনা করার জন্য একটি একক OpenAI-কম্প্যাটিবল এন্ডপয়েন্ট প্রদান করে এবং ক্রেডেনশিয়াল সুরক্ষিত রাখে।

zai-proxy হল একটি Go-ভিত্তিক রিভার্স প্রক্সি যা Z.AI Claude API-এর সামনে বসে, টোকেন গণনা, অভিযোজিত রেট লিমিটিং, Prometheus মেট্রিক্স এবং একটি রিয়েল-টাইম মনিটরিং ড্যাশবোর্ড যোগ করে। এটি প্রোডাকশন-গ্রেড পর্যবেক্ষণযোগ্যতা এবং নির্ভরযোগ্যতা প্রদান করে।

LiteLLM ও LangChain ব্যবহার করে LLM Gateway তৈরির প্রজেক্ট, যা OpenAI-কোম্প্যাটিবল API-র মাধ্যমে একাধিক AI প্রদানকারীতে unified অ্যাক্সেস দেয়।