منصوبے کے بارے میں

Azure AI Proxy ایک ہلکا پھلکا، ماڈیولر سرور ہے جو ایک Azure OpenAI-مطابق API انٹرفیس فراہم کرتا ہے جبکہ درخواستوں کو LiteLLM کے ذریعے DeepSeek، MIMO، Anthropic، Ollama، اور کسٹم اینڈ پوائنٹس سمیت مختلف فراہم کنندگان کے بیک اینڈ ماڈلز تک بھیجتا ہے۔ یہ ڈویلپرز کو ان ٹولز اور IDEs (جیسے JetBrains with GitHub Copilot) کے اندر غیر Azure LLMs استعمال کرنے کی اجازت دیتا ہے جو Azure OpenAI فارمیٹ کی توقع کرتے ہیں۔ یہ پراکسی چیٹ مکمل کرنے (chat completions)، ایمبیڈنگز، لیگیسی مکمل کرنے، ماڈل لسٹنگ، اور تعیناتی کے انتظام کی حمایت کرتا ہے۔ کلیدی خصوصیات میں YAML کے ذریعے ملٹی ماڈل کنفیگریشن، UI مطابقت کے لیے ماڈل شناخت کی نقل، keepalive اور timeout ہینڈلنگ کے ساتھ بہتر اسٹریمنگ، ٹول کال سینیٹائزیشن، گریس فل ایرر میپنگ، ڈیبگ لاگنگ، اور اختیاری API کی (key) تصدیق شامل ہیں۔ انسٹالیشن کے اختیارات میں pip، Windows/macOS/Linux کے لیے ون لائنر اسکرپٹس، یا Docker شامل ہیں۔ کنفیگریشن ایک سادہ config.yaml فائل کے ذریعے منظم کی جاتی ہے جس میں ہوسٹ، پورٹ، ٹائم آؤٹ، لاگنگ، اور فی ماڈل پیرامیٹرز بشمول API keys، بیس URLs، اور ٹوکن لمٹس کی تعریف کی جاتی ہے۔ پروجیکٹ کا ڈھانچہ واضح طور پر ماڈیولر ہے جس میں ہر اینڈ پوائنٹ ٹائپ کے لیے ہینڈلرز اور auth، CORS، اور لاگنگ کے لیے مڈل ویئر موجود ہیں۔ اسے صرف aiohttp، litellm، اور pyyaml ڈیپینڈنسیز کی ضرورت ہوتی ہے۔ یہ پراکسی GPL v3 کے تحت لائسنس شدہ ہے اور CarmJos کے ذریعے برقرار رکھا جاتا ہے، جس کی حمایت GitHub Sponsors یا ifdian.net کے ذریعے کی جا سکتی ہے۔