इस प्रोजेक्ट के बारे में
यह प्रोजेक्ट एक प्रॉक्सी सर्वर है जो मानक OpenAI API के साथ पूर्ण संगतता सुनिश्चित करते हुए GitHub Models API मॉडल के साथ इंटरैक्शन सक्षम करता है। यह विभिन्न प्रदाताओं (OpenAI, Meta, Microsoft, Mistral, DeepSeek और xAI सहित) के दर्जनों मॉडलों तक पहुंच प्रदान करता है।
### मुख्य विशेषताएं:
- **एकाधिक इंटरफेस**: मानक OpenAI API, एक विस्तारित JSON API, एक सरलीकृत Chat API, और परीक्षण के लिए एक इंटरैक्टिव Web UI का समर्थन।
- **निगरानी और विश्लेषण**: HTTP अनुरोधों, त्रुटियों, मेमोरी उपयोग और प्रदर्शन को ट्रैक करने के लिए एक अंतर्निहित Prometheus-फॉर्मेट एंडपॉइंट। एक अलग निगरानी वेब इंटरफेस `/monitor` पर उपलब्ध है।
- **लोड नियंत्रण**: स्थिरता सुनिश्चित करने के लिए रेट लिमिटिंग तंत्र और प्रतीक्षा कतार के साथ कॉन्करेंसी कंट्रोल।
- **सहायक उपकरण**:
- स्वचालित सर्वर रिकवरी के लिए `watchdog.sh`।
- बेंचमार्किंग, मॉडल परीक्षण और कोड उदाहरण जनरेशन के लिए स्क्रिप्ट।
- स्ट्रीमिंग समर्थन के साथ TTS फंक्शन (यूक्रेनी वॉयसओवर)।
- **इंटेलिजेंट फंक्शन**: स्वचालित कॉन्टेक्स्ट लिमिट चेक और कार्य (गति, गुणवत्ता, टेक्स्ट वॉल्यूम) के आधार पर मॉडल अनुशंसा प्रणाली।
### तकनीकी स्टैक:
- Node.js 18+
- GitHub Models API के साथ एकीकरण
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.