প্রকল্প সম্পর্কে

OBEY API Gateway হলো একটি উচ্চ-কার্যক্ষম, সিঙ্গেল-বিনারি AI গেটওয়ে যা অ্যাপ্লিকেশন এবং একাধিক AI প্রদানকারীর মধ্যে অবস্থান করে। এটি OpenAI API-এর জন্য ড্রপ-ইন প্রতিস্থাপন হিসেবে কাজ করে, ফলে ব্যবহারকারীরা তাদের বিদ্যমান SDK-গুলোকে গেটওয়েতে নির্দেশ করে কোনো কোড পরিবর্তন ছাড়াই উন্নত রাউটিং ও নির্ভরযোগ্যতা বৈশিষ্ট্য পাবেন। প্রধান ক্ষমতাগুলো হলো: - **মাল্টি-প্রোভাইডার সাপোর্ট**: OpenAI, Ollama, AWS Bedrock, Groq, Together AI, NVIDIA NIM, vLLM এবং LM Studio-এর সাথে সামঞ্জস্যপূর্ণ। - **নির্ভরযোগ্যতা ও রাউটিং**: সার্কিট ব্রেকার সহ স্বয়ংক্রিয় ফেলওভার, এক্সপোনেনশিয়াল ব্যাকঅফ এবং স্মার্ট রেট-লিমিট হ্যান্ডলিং (Retry-After হেডার মেনে চলে)। এটি প্রায়োরিটি, খরচ-সচেতন ও জটিলতা-সচেতন রাউটিং সমর্থন করে। - **উন্নত AI বৈশিষ্ট্য**: - **রেসপন্স ক্যাশিং**: ইন-মেমোরি এক্যুট-ম্যাচ টিয়ার এবং Qdrant-এর মাধ্যমে অপশনাল সেমান্টিক টিয়ার সহ দুই-স্তরের ক্যাশিং। - **টোকেন ম্যানেজমেন্ট**: টোকেনের জন্য ৯টি কম্প্রেশন কৌশল এবং টুল ডেফিনিশন কম্প্রেশনের জন্য ১২-ধাপের পাইপলাইন অন্তর্ভুক্ত। - **গার্ডরেইলস**: PII রিডাকশন, রেগেক্স স্ক্যানিং ও মোডারেশন সহ কলের আগে ও পরে নীতি বাস্তবায়ন। - **এজেন্ট লুপ ডিটেকশন**: পুনরাবৃত্তিমূলক এজেন্ট আচরণ শনাক্ত করে সতর্কতা ও থ্রটলিং স্তরের মাধ্যমে স্কেলেট করে। - **OpenAI ইন্টিগ্রেশন**: ChatGPT Plus/Pro সাবস্ক্রিপশনের জন্য OpenAI OAuth লগইন সমর্থন করে এবং একটি নেটিভ /v1/responses এন্ডপয়েন্ট প্রদান করে। - **डेभelopeर टूलস**: একটি বিল্ট-ইন অ্যাডমিন প্যানেল/ড্যাশবোর্ড, Prometheus মেট্রিক্স, SQLite-ভিত্তিক স্ট্রাকচার্ড লগিং এবং প্রতি-কলার বাজেটিং ও রেট লিমিটিংয়ের জন্য ভার্চুয়াল কি ম্যানেজমেন্ট অন্তর্ভুক্ত। - **ডিপ্লয়মেন্ট**: উইন্ডোজ ইনস্টলার, Docker ইমেজ হিসেবে উপলব্ধ, অথবা Rust ব্যবহার করে সোর্স থেকে তৈরি করা যায়।