منصوبے کے بارے میں

Inja LLM Gateway بڑے لینگویج ماڈل فراہم کنندگان کے لیے ایک ہلکا پھلکا، بغیر کسی انحصار کے API گیٹ وے ہے۔ یہ OpenAI Chat Completions، Anthropic Messages، یا مقامی Gemini ڈائیلیکٹ میں درخواستیں قبول کرتا ہے اور انہیں کسی بھی ترتیب شدہ اپ اسٹریم فراہم کنندہ تک روٹ کرتا ہے—بشمول OpenAI، Anthropic، Google، DeepSeek، xAI، Moonshot، OpenRouter، vLLM اور دیگر۔ ہم ڈائیلیکٹ ٹریفک تقریباً ویسے ہی گزرتی ہے؛ کراس ڈائیلیکٹ درخواستوں کا خودکار ترجمہ کیا جاتا ہے، جس میں ساختی آؤٹ پٹس، ٹول کا استعمال اور سوچنے کے بلاکس شامل ہیں۔ گیٹ وے مکمل طور پر بے حالت ہے جس میں کوئی ڈیٹا بیس، سیشن یا اسٹکی روٹنگ نہیں ہے، جس سے ایک جیسی نقلیں پیمانے پر لگانا بہت آسان ہو جاتا ہے۔ یہ macOS، Linux اور Windows کے لیے ایک واحد اسٹیٹک بائنری کے طور پر آتا ہے، اور Docker اور Kubernetes ڈیپلائمنٹ مینی فیسٹ بھی شامل ہیں۔ صرف رن ٹائم انحصار gopkg.in/yaml.v3 ہے۔ اہم صلاحیتوں میں چار فراہم کنندہ اقسام (openai، openai_compat، anthropic، google) کے ساتھ ملٹی پرووائیڈر ایگریس، ماڈل عرفی نام اور روٹنگ، مشترکہ رازوں کے ساتھ اختیاری ایج تصدیق، OAuth2 اور سروس اکاؤنٹ ٹوکن ذرائع، اور /ui پر ایک بلٹ ان آپریٹر ڈیش بورڈ شامل ہیں۔ استعمال کی پیمائش JSONL، غیر متزامن ویب ہک، اختیاری SQLite، یا ان پراسیس Go ہک کے ذریعے ہر پراکسی شدہ درخواست کے لیے ایک واقعہ خارج کرتی ہے۔ گیٹ وے ایمبیڈنگز، امیج جنریشن، ویڈیو جابز، ٹیکسٹ ٹو اسپیک، اسپیچ ٹو ٹیکسٹ، OpenAI Responses، Files، Batches، Moderations اور Realtime WebSocket سیشنز (صرف اسی پروٹوکول پاس تھرو) کو بھی سپورٹ کرتا ہے۔ کنفیگریشن ایک ہی YAML فائل ہے جس میں ماحول کے متغیرات کی اوور رائیڈز ہیں۔ ہیلتھ چیکس، Prometheus میٹرکس، باڈی سائز کی حدیں اور گریسفل شٹ ڈاؤن بلٹ ان ہیں۔ پروجیکٹ AGPL-3.0 کے تحت لائسنس یافتہ ہے۔