منصوبے کے بارے میں

Hyperstrate Server ایک خود-hosted AI گیٹ وے ہے جو ان ٹیمز کے لیے ڈیزائن کیا گیا ہے جنہیں LLM انفراسٹرکچر پر باریک کنٹرول درکار ہوتا ہے۔ یہ ایپلیکیشنز اور مختلف AI فراہم کنندگان کے درمیان ایک مرکزی تہہ کے طور پر کام کرتا ہے، جس میں میزبان خدمات (OpenAI, Anthropic, Gemini, Mistral, Azure OpenAI, Bedrock, Groq, Cohere)، خود-hosted ماڈلز (Ollama, vLLM, LocalAI)، اور کسٹم HTTP فراہم کنندگان کی حمایت حاصل ہے۔ اہم خصوصیات: - **روٹنگ اور آرکیسٹریشن**: متعدد روٹنگ حکمت عملیوں (round-robin, weighted, failover, latency-based) اور پائپ لائن خصوصیات جیسے semantic caching, context trimming, retries, اور MCP tool integration کی حمایت کرتا ہے۔ - **حکمرانی اور سیکیورٹی**: ملٹی-ٹیننٹ رسن کو منتظم بنانے کے لیے request caps, cost budgets, rate limits, virtual keys, اور OIDC group mappings نافذ کرتا ہے۔ - **مشاہدہ**: لاگت، لیٹنسی، اور ٹوکن استعمال کو ٹریک کرنے کے لیے تفصیلی inference logs, pipeline traces, Prometheus metrics, اور تجزیات فراہم کرتا ہے۔ - **تشخیص**: versioned prompt templates کا انتظام اور router regressions کو ٹیسٹ کرنے کے لیے LLM-judged scoring کے ساتھ evaluation sets چلانے کے لیے ٹولز شامل ہیں۔ - **ڈویلپر تجربہ**: SDK-compatible APIs (OpenAI اور Anthropic compatible) پیش کرتا ہے جس سے موجودہ کللائنٹس صرف base URL تبدیل کر کے انٹیگریٹ کر سکتے ہیں۔ تکنیکی طور پر، سرور Go 1.25 اور Gin کے ساتھ بنایا گیا ہے، مقامی ترقی کے لیے SQLite اور پروڈکشن کے لیے PostgreSQL کی حمایت کرتا ہے۔ اسے الگ binary کے طور پر یا AWS SAM کے ذریعے Lambda اور SQS کے ساتھ asynchronous job processing کے لیے deploy کیا جا سکتا ہے۔