منصوبے کے بارے میں

LLM-Router ایک پروڈکشن ریڈی گیٹ وے ہے جو مختلف بڑے زبان ماڈل (LLM) فراہم کنندگان کو ایک متحد، OpenAI مطابقت پذیر API میں یکجا کرنے کے لیے ڈیزائن کیا گیا ہے۔ یہ ڈویلپرز کو OpenAI، DeepSeek اور Anthropic جیسے فراہم کنندگان کے درمیان تبدیل کرنے یا Ollama جیسے مقامی ماڈلز استعمال کرنے کی اجازت دیتا ہے، بغیر کلائنٹ سائیڈ کوڈ تبدیل کیے۔ نظام ایسینکرونس آرکیٹیکچر پر مبنی ہے جس میں کنکشن پولنگ، ریکوئسٹ کیشنگ، اور Server-Sent Events (SSE) کے ذریعے ریئل ٹائم رسپانس اسٹریمنگ شامل ہے۔ اہم کاروباری خصوصیات میں API کی authenticیشن، ریٹ لمٹنگ، ریکوئسٹ والیڈیشن، اور ڈائنامک ترتیب ہاٹ ریلوڈنگ شامل ہیں۔ مانٹرنگ اور دیکھ بھال کے لیے، اس میں بلٹ ان ہیلتھ چیکس، Prometheus میٹرکس، اور اسٹرکچرڈ لاگنگ شامل ہے۔ ڈیپلائمنٹ Docker اور Kubernetes مینی فیسٹ کے ذریعے آسان بنایا گیا ہے، جو ہائی لوڈ پروڈکشن ماحول کے لیے موزوں ہے۔