इस प्रोजेक्ट के बारे में

GPT-Load एक सेल्फ-होस्टेड AI गेटवे है जिसे एक ही प्रवेश बिंदु के माध्यम से कई AI प्रदाताओं और क्रेडेंशियल्स को प्रबंधित करने के लिए डिज़ाइन किया गया है। यह API कुंजियों और सदस्यता खातों (जैसे Codex, Claude, Antigravity, और Grok) दोनों का समर्थन करता है, और एकीकृत क्रेडेंशियल प्रबंधन, ट्रैफ़िक शेड्यूलिंग, पुनः प्रयास, कूलडाउन, ब्लैकलिस्टिंग, और सेशन एफ़िनिटी प्रदान करता है ताकि ओवरलोडेड या विफल होने वाले क्रेडेंशियल्स के प्रभाव को कम किया जा सके। यह गेटवे नेटिव OpenAI, Anthropic, और Gemini प्रोटोकॉल को उजागर करता है, जिससे क्लाइंट अपने मौजूदा इंटरफ़ेस को बनाए रखते हुए अनुरोधों को विभिन्न अपस्ट्रीम सेवाओं तक रूट कर सकते हैं। अंतर्निहित चैनलों में आधिकारिक और क्लाउड प्रदाता (OpenAI, Anthropic, Gemini, xAI, Azure OpenAI, AWS Bedrock, Google Vertex AI), मॉडल सेवाएँ (DeepSeek, Moonshot AI, SiliconFlow, Zhipu AI, Alibaba, Volcengine, OpenRouter, Groq), सदस्यता चैनल, और कस्टम OpenAI-संगत रिले शामिल हैं। मुख्य विशेषताएँ शामिल हैं: - कॉन्फ़िगर करने योग्य वेट, पुनः प्रयास, कूलडाउन, ब्लैकलिस्टिंग, और सेशन एफ़िनिटी के साथ मल्टी-क्रेडेंशियल शेड्यूलिंग - एम्बेडेड प्रबंधन UI में अनुरोध लॉगिंग, उपयोग आँकड़े, और लागत अनुमान - SQLite, MySQL, या PostgreSQL डेटाबेस के लिए समर्थन, स्थानीय क्रेडेंशियल एन्क्रिप्शन के साथ - सरल क्विक स्टार्ट के साथ Docker Compose परिनियोजन - Linux, macOS, और Windows के लिए नेटिव बाइनरी बिल्ड, जिसमें Windows Setup इंस्टॉलर भी शामिल है - नेटवर्क, डेटाबेस, लॉगिंग, और सुरक्षा सेटिंग्स के लिए पर्यावरण चर कॉन्फ़िगरेशन GPT-Load 2.0 एक पूर्ण पुनर्लेखन है और 1.x डेटा को इन-प्लेस माइग्रेट नहीं कर सकता। यह एकल एप्लिकेशन इंस्टेंस के लिए डिज़ाइन किया गया है और हॉरिज़ॉन्टल स्केलिंग का समर्थन नहीं करता। उपयोग और लागत के आंकड़े अनुमान हैं और इन्हें वित्तीय रिकॉर्ड के रूप में नहीं माना जाना चाहिए। यह प्रोजेक्ट MIT लाइसेंस के अंतर्गत है और Bifrost Core, CLIProxyAPI, और Lobe Icons जैसे ओपन-सोर्स घटकों पर निर्भर करता है।