इस प्रोजेक्ट के बारे में
subrelay एक हल्का रिले गेटवे है जिसे कई OpenAI और Anthropic API क्रेडेंशियल्स को प्रबंधित करने के लिए डिज़ाइन किया गया है। यह उपयोगकर्ताओं और अपस्ट्रीम प्रदाताओं के बीच मध्य स्तर के रूप में कार्य करता है, और वेटेड-रैंडम चयन, स्वचालित फेलओवर, तथा रेट-लिमिट बैकऑफ़ जैसी सुविधाएँ प्रदान करता है। भारी विकल्पों के विपरीत, यह स्टोरेज के लिए SQLite का उपयोग करता है और Redis या PostgreSQL जैसी बाहरी निर्भरताओं की आवश्यकता नहीं होती।
मुख्य क्षमताएँ शामिल हैं:
- प्रोटोकॉल संगतता: OpenAI Chat Completions और Anthropic Messages APIs दोनों का समर्थन करता है, और जब प्रोटोकॉल मेल खाते हैं तो बाइट-लेवल पासथ्रू प्रदान करता है ताकि टूल-कॉलिंग और प्रदाता-विशिष्ट फ़ील्ड्स संरक्षित रहें।
- क्रेडेंशियल प्रबंधन: कई कुंजियों को दैनिक बजट प्रवर्तन, समवर्ती सीमा, और 429 या 5xx त्रुटियों पर स्वचालित कूलडाउन के साथ संभालता है।
- New API एकीकरण: स्थानीय कॉन्फ़िगरेशन को New API चैनलों के साथ मिलाने के लिए sync‑newapi कमांड प्रदान करता है, जो ड्राई रन, प्रूनिंग, और GitOps वर्कफ़्लो का समर्थन करता है।
- अवलोकनशीलता: Prometheus मेट्रिक्स, हेल्थ चेक्स, और क्रेडेंशियल स्वास्थ्य की जाँच के लिए doctor CLI टूल उपलब्ध कराता है।
- डेवलपर‑फ्रेंडली: सरल YAML कॉन्फ़िगरेशन जिसमें पर्यावरण वेरिएबल इंटरपोलेशन है, और Python या Docker के माध्यम से एकल‑प्रोसेस डिप्लॉयमेंट मॉडल।
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.