एक हल्का OpenAI API रिवर्स प्रॉक्सी जिसमें प्रति-की टोकन बजट, रेट लिमिटिंग, लागत डैशबोर्ड और ऑटोमैटिक मॉडल डाउनग्रेडिंग की सुविधा है।
ओपन सोर्स। नई संभावनाएँ।
उत्कृष्ट ओपन-सोर्स प्रोजेक्ट खोजें, गुमनाम रूप से प्रोजेक्ट सबमिट करें और अपने प्रोजेक्ट का दावा कर उसे संपादित करें।
जिज्ञासा के साथ ओपन सोर्स खोजें।
THE FIRST COLLECTIONOpenAI के Chat Completions और Embeddings APIs के लिए न्यूनतम FastAPI प्रॉक्सी। बहु-टेनेंट कुंजी मैपिंग, स्ट्रीमिंग, और आधिकारिक SDK संगतता को बिना डेटाबेस के समर्थन करता है।
CogniGate एक सेल्फ-होस्टेड, मल्टी-टेनेंट LLM गेटवे है जो क्रेडेंशियल्स को सुरक्षित रखते हुए कई मॉडल प्रदाताओं को प्रबंधित करने के लिए एक सिंगल OpenAI-संगत एंडपॉइंट प्रदान करता है।
RouteTok एक लोकल-फर्स्ट LLM इनферен্স राउटर है जिसमें OpenAI और Anthropic कॉम्पैटibel APIs, हेल्थ-अवेयर फेलओवर, मल्टी-प्रोवाइडर कैटलॉग, ऑपरेशंस डैशबोर्ड और मोडल सैंडबॉक्स हैं।
LLM राउटिंग, रिट्राइज़, फॉलबैक, स्ट्रक्चर्ड आउटपुट और उपयोग/लागत लेखांकन के लिए प्रदाता-तटस्थ FastAPI गेटवे। यह मॉडल एलियास, रिट्राय नीतियों और निरंतर उपयोग ट्रैकिंग के साथ Gemini और OpenAI का समर्थन करता है।
OpenAI API के साथ सामान्य कार्यों के लिए उदाहरण कोड और गाइड, मुख्य रूप से Python में। उदाहरण चलाने के लिए OpenAI खाते और API कुंजी की आवश्यकता होती है।
Storyloom एक AI-आधारित विज़ुअल नॉवेल इंजन है जो रीयल-टाइम में नैरेटिव उत्पन्न करता है। यह एक स्ट्रीमिंग XML पाइपलाइन (StreamParser → StateManager → EventDispatcher) का उपयोग करता है जो बफ़रिंग के बिना LLM आउटपुट को लाइन-बाय-लाइन पार्स करता है, और एक ब्रिज प्री-फेच मैकेनिज़म जो पैराग्राफ के मध्य में अगला API कॉल फायर करके पढ़ने के समय के पीछे लेटेंसी को छिपाता है।
Xinference एक एकीकृत इन्फरेंस लाइब्रेरी है जो भाषा, वाक् और मल्टीमॉडल मॉडल की सेवा के लिए है। यह OpenAI-संगत RESTful API, विषम GPU/CPU उपयोग, वितरित तैनाती प्रदान करता है और LangChain, LlamaIndex, Dify तथा Chatbox के साथ एकीकृत होता है।
One API एक एकल LLM API प्रबंधन वितरण सिस्टम है जो OpenAI, Azure, Anthropic Claude, Google Gemini, DeepSeek सहित दर्जनों प्रमुख मॉडलों का समर्थन करता है। यह एकक OpenAI फॉर्मेट इंटरफ़ेस, टोकन प्रबंधन, चैनल लोड संतुलन, उपयोगकर्ता समूह विभाजन और पुनर्वितरण कार्यक्षमता प्रदान करता है।
GPT4Free कई भाषा मॉडल और मीडिया जनरेशन प्रदाताओं को एक एकीकृत इंटरफेस में एकत्रित करता है। यह Python/JS क्लाइंट, OpenAI-संगत REST API, GUI और CLI प्रदान करता है और gpt-4o-mini और flux जैसे मॉडलों का समर्थन करता है।