इस प्रोजेक्ट के बारे में

Multi-Provider AI API Proxy एक HTTP प्रॉक्सी सर्वर है जिसे Anthropic Claude API के ड्रॉप-इन रिप्लेसमेंट के रूप में कार्य करने के लिए डिज़ाइन किया गया है। यह उपयोगकर्ताओं को Anthropic API फॉर्मेट को बनाए रखते हुए Groq, OpenRouter और Portkey जैसे विभिन्न प्रदाताओं को अनुरोध रूट करने की अनुमति देता है। मुख्य क्षमताओं में शामिल हैं: - **Multi-Provider Routing**: Groq, OpenRouter और Portkey के माध्यम से रूटिंग का समर्थन करता है, जिसमें क्वेरी पैरामीटर के माध्यम से प्रति अनुरोध प्रदाता चुनने या ग्लोबल डिफॉल्ट सेट करने की क्षमता होती है। - **API Translation**: Anthropic और OpenAI/Groq फॉर्मेट के बीच सहजता से रूपांतरित करता है, जिसमें टूल कॉलिंग और जटिल कंटेंट ब्लॉक्स का समर्थन शामिल है। - **Key Management**: थ्रूपुट को अनुकूलित करने और सीमाओं से बचने के लिए कई API कीज़ (प्रति प्रदाता 10 तक) में राउंड-रॉबिन रोटेशन लागू करता है। - **Intelligent Rate Limiting**: प्रदाता-विशिष्ट रेट लिमिट्स का पता लगाता है (विशेष रूप से Groq त्रुटि संदेशों को पार्स करता है) और स्वचालित रूप से की रिकवरी और प्रतीक्षा समय का प्रबंधन करता है। - **Observability**: की हेल्थ, अनुरोध सांख्यिकी की निगरानी के लिए एक रियल-टाइम स्टेटस एंडपॉइंट और विभिन्न लॉग स्तरों के साथ विस्तृत पर्सिस्टेंट लॉगिंग प्रदान करता है। - **Integration**: एनवायरनमेंट वेरिएबल कॉन्फ़िगरेशन (`ANTHROPIC_BASE_URL`) के माध्यम से Claude Code, Cursor IDE और Continue सहित Anthropic-संगत क्लाइंट्स के साथ संगत है।