इस प्रोजेक्ट के बारे में

OBEY API Gateway एक उच्च-प्रदर्शन, सिंगल-बाइनरी AI गेटवे है जो एप्लिकेशन और कई AI प्रदाताओं के बीच स्थित होता है। यह OpenAI API का ड्रॉप-इन प्रतिस्थापन के रूप में कार्य करता है, जिससे उपयोगकर्ता अपने मौजूदा SDKs को गेटवे की ओर निर्देशित कर सकते हैं और एप्लिकेशन कोड बदले बिना उन्नत रूटिंग और विश्वसनीयता सुविधाओं तक पहुँच सकते हैं। मुख्य क्षमताएँ: - **बहु-प्रदाता समर्थन**: OpenAI, Ollama, AWS Bedrock, Groq, Together AI, NVIDIA NIM, vLLM, और LM Studio के साथ संगत। - **विश्वसनीयता और रूटिंग**: सर्किट ब्रेकर्स के साथ स्वचालित फेलओवर, एक्स्पोनेंशियल बैकऑफ, और स्मार्ट रेट-लिमिट हैंडलिंग (Retry-After हेडर्स का सम्मान) की सुविधा। प्राथमिकता, लागत-जागरूक, और जटिलता-जागरूक रूटिंग का समर्थन करता है। - **उन्नत AI सुविधाएँ**: - **रिस्पॉन्स कैशिंग**: इन-मेमोरी एक्सैक्ट-मैच टियर और वैकल्पिक सेंटिक टियर (Qdrant के माध्यम से) वाला टू-टियर कैशिंग। - **टोकन प्रबंधन**: टोकनों के लिए 9 संकुचन रणनीतियाँ और टूल परिभाषा संकुचन के लिए 12-स्टेज पाइपलाइन। - **गार्डरेल्स**: PII रिडाक्शन, रेगेक्स स्कैनिंग, और मोडरेशन सहित प्री- और पोस्ट-कॉल पॉलिसी प्रवर्तन। - **एजेंट लूप डिटेक्शन**: दोहराए जाने वाले एजेंट व्यवहार का पता लगाता है और चेतावनी व थ्रॉटलिंग स्तरों के माध्यम से एस्केलेशन करता है। - **OpenAI एकीकरण**: ChatGPT Plus/Pro सब्सक्रिप्शन के लिए OpenAI OAuth लॉगिन और नेटिव /v1/responses एंडपॉइंट का समर्थन। - **डेवलपर टूल्स**: बिल्ट-इन एडमिन पैनल/डैशबोर्ड, Prometheus मेट्रिक्स, SQLite-आधारित स्ट्रक्चर्ड लॉगिंग, और प्रति-कॉलर बजट और रेट लिमिटिंग के लिए वर्चुअल की प्रबंधन। - **डिप्लॉयमेंट**: Windows इंस्टरलर, Docker इमेज के रूप में उपलब्ध, या Rust का उपयोग करके स्रोत से बनाया जा सकता है।