इस प्रोजेक्ट के बारे में

Hyperstrate Server एक स्व-होस्टेड AI गेटवे है जो टीमों को LLM इंफ्रास्ट्रक्चर पर नज़ीक नियंत्रण प्रदान करता है। यह एप्लीकेशन और विभिन्न AI प्रदाताओं के बीच एक केन्द्रीयित परत का कार्य करता है, जिसमें होस्ट की गई सेवाएँ (OpenAI, Anthropic, Gemini, Mistral, Azure OpenAI, Bedrock, Groq, Cohere), स्व-होस्टेड मॉडल (Ollama, vLLM, LocalAI) और कस्टम HTTP प्रदाता समर्थित हैं। मुख्य क्षमताएँ: - **रूटिंग और ऑर्केस्ट्रेशन**: मल्टीपल रूटिंग रणनीतियों (round-robin, weighted, failover, latency-based) का समर्थन करता है और सेमैन्टिक कैशिंग, कॉन्टेक्स्ट ट्रिमिंग, पुन: प्रयास, और MCP टूल इंटीग्रेशन जैसे पाइपलाइन फीचर्स प्रदान करता है। - **शासन और सुरक्षा**: कई-उपभोक्ता पहुँच को व्यवस्थित करने के लिए अनुरोध सीमाएँ, लागत बजट, रेट लिमिट, आभावी कुंजियाँ और OIDC समूह मैपिंग लागू करता है। - **अवलोकनशीलता**: लागत, विलंबता और टोकन उपयोग को ट्रैक करने के लिए विस्तृत इनफ़ेरेंस लॉग, पाइपलाइन ट्रaces, Prometheus मिटरिक्स और विश्लेषण प्रदान करता है। - **मूल्यांकन**: संस्करणबद्ध प्रॉम्प्ट टेम्पलेट प्रबंधित करने और रूटर प्रतिगामी जाँच के लिए LLM-निर्मित स्कोरिंग वाली मूल्यांकन सेट चलाने के लिए उपकरण शामिल हैं। - **डेवलपर अनुभव**: SDK-अनुकूल APIs (OpenAI और Anthropic के संगत) प्रदान करता है, जिससे मौजूदा क्लाइंट केवल बेस URL बदलकर एकीकृत कर सकते हैं। तकनीकी रूप से, सर्वर Go 1.25 और Gin के साथ निर्मित है, जो स्थानीय विकास के लिए SQLite और उत्पादन के लिए PostgreSQL का समर्थन करता है। इसे स्टैंडअलोन-binary के रूप में या AWS SAM का उपयोग करके Lambda और SQS के साथ असिंक्रोनसजॉब प्रोसेसिंग के लिए तैनात किया जा सकता है।