इस प्रोजेक्ट के बारे में
यह रिपॉजिटरी एक हल्का FastAPI-आधारित प्रॉक्सी सर्वर प्रदान करती है जो अनुरोधों को OpenAI के Chat Completions और Embeddings APIs की ओर अग्रेषित करता है। यह उपयोगकर्ताओं को रैपर API कुंजियों को वास्तविक OpenAI कुंजियों से मैप करने की सुविधा देता है, जिससे यह बहु-टेनेंट वातावरण में कुंजी प्रबंधन की आवश्यकता वाले मामलों के लिए उपयुक्त बनता है। प्रॉक्सी आधिकारिक OpenAI Python SDK के साथ पूरी तरह संगत है, Server-Sent Events (SSE) के माध्यम से स्ट्रीमिंग चैट कंप्लीशन का समर्थन करता है, और किसी डेटाबेस की आवश्यकता नहीं होती — कॉन्फ़िगरेशन एक साधारण Python फ़ाइल के माध्यम से संभाला जाता है। डिप्लॉयमेंट विकल्पों में Uvicorn के साथ स्थानीय विकास और Supervisor के साथ उत्पादन उपयोग शामिल हैं, साथ ही प्रदान किए गए स्क्रिप्ट्स भी हैं। यह उन टीमों या सेवाओं के लिए आदर्श है जिन्हें क्लाइंट्स और OpenAI API के बीच एक न्यूनतम, स्वयं-होस्टेड लेयर चाहिए, जबकि SDK संगतता बनाए रखते हुए जटिल इन्फ्रास्ट्रक्चर से बचा जा सके।
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.