इस प्रोजेक्ट के बारे में

यह प्रोजेक्ट ai-proxy सेवा का फ़ोर्क है, जो विभिन्न बड़े भाषा मॉडल (LLM) प्रदाताओं के लिए एक सुरक्षित प्रॉक्सी के रूप में कार्य करने के लिए डिज़ाइन किया गया है। यह उपयोगकर्ताओं को प्रत्येक प्रदाता के लिए एप्लिकेशन कोड संशोधित किए बिना कई AI सेवाओं के साथ बातचीत करने की अनुमति देता है, जिससे एक एकीकृत API एंडपॉइंट प्रदान करता है। मुख्य क्षमताएं इस प्रकार हैं: - एकीकृत API पहुंच: OpenAI, Google Gemini, Groq, OpenRouter, Cloudflare, Cohere और Sberbank GigaChat जैसे प्रदाताओं का समर्थन करती है। - अनुरोध प्रबंधन: प्रति मिनट/घंटे/दिन दर सीमांकन, बुद्धिमान रूटिंग और संरचित त्रुटि हैंडलिंग लागू करता है। - प्रदर्शन अनुकूलन: मेमोरी दक्षता के लिए sync.Pool के माध्यम से बफ़र पूलिंग, HTTP क्लाइंट के लिए अनुकूलित कनेक्शन पूलिंग और एक्सपोनेन्शियल बैकऑफ़ और जिट्टर के साथ स्ट्रीमिंग पुनः प्रयास तंत्र का उपयोग करता है। - सुरक्षा: प्रॉक्सी एक्सेस टोकन प्रमाणीकरण और पर्यावरण चर के माध्यम से सुरक्षित कॉन्फ़िगरेशन प्रबंधन सुविधाएँ हैं। - स्ट्रीमिंग समर्थन: उन प्रदाताओं के लिए सर्वर-प्रेषित ईवेंट (SSE) का समर्थन करता है जो स्ट्रीमिंग प्रतिक्रियाएँ लागू करते हैं। - कॉन्फ़िगरेशन: मॉडल, प्राथमिकताओं और API कुंजियों को परिभाषित करने के लिए YAML-आधारित सेटअप का उपयोग करता है।