इस प्रोजेक्ट के बारे में

ai-router एक व्यापक Python लाइब्रेरी है जो Large Language Model (LLM) API इंटरैक्शन को प्रबंधित करती है। यह OpenAI, Anthropic, DeepSeek, और Google Gemini जैसे विभिन्न प्रदाताओं के बीच अनुरोधों को रूट करने के लिए एकीकृत इंटरफ़ेस प्रदान करती है। प्रमुख क्षमताएँ शामिल हैं: - Smart Routing: राउंड-रॉबिन, वेटेड वितरण, और लागत/लेटेंसी अनुकूलन जैसी रणनीतियों को लागू करती है। यह स्वचालित रीट्राई, सर्किट ब्रेकर, और सेमेंटिक कैशिंग को शामिल करती है ताकि विश्वसनीयता और प्रदर्शन में सुधार हो सके। - RAG Pipeline: दस्तावेज़ चंकिंग, एम्बेडिंग जेनरेशन, हाइब्रिड रिट्रीवल (BM25 + वेक्टर), और री‑रैंकिंग के लिए टूल प्रदान करती है। - Agent Framework: ReAct एजेंट, टूल रजिस्ट्रेशन, मल्टी‑एजेंट ऑर्केस्ट्रेशन (सीक्वेंशियल, पैरालल, डिबेट), और मेमोरी मैनेजमेंट को सपोर्ट करती है। - Evaluation & Monitoring: लेटेंसी और थ्रूपुट के लिए बेंचमार्किंग टूल, साथ ही BLEU, ROUGE, और सेमेंटिक सिमिलैरिटी जैसे स्कोरिंग मेट्रिक्स शामिल हैं। - API Server: FastAPI‑आधारित सर्वर प्रदान करती है जो OpenAI /v1/chat/completions एन्डपॉइंट के साथ संगत है, जिससे प्रदाता स्विचिंग सहज हो जाती है। यह टूलकिट प्रोडक्शन वातावरण के लिए डिज़ाइन की गई है, जिसमें रेट लिमिटिंग, व्यापक मेट्रिक्स ट्रैकिंग, और Docker या CLI के माध्यम से आसान डिप्लॉयमेंट शामिल है।