منصوبے کے بارے میں

AI Gateway ایک اوپن سورس ٹول ہے جسے ایک واحد، متحد API کے ذریعے متعدد لارج لینگویج ماڈل (LLM) فراہم کنندگان تک رسائی کو آسان بنانے کے لیے ڈیزائن کیا گیا ہے۔ یہ OpenAI، Gemini، Groq، Mistral اور دیگر فراہم کنندگان کے درمیان درخواستوں کی روٹنگ کی حمایت کرتا ہے — جس میں Ollama کے ذریعے مقامی ماڈلز یا ٹیسٹنگ کے لیے mock responses شامل ہیں۔ کلیدی خصوصیات میں خودکار ری ٹرائیز (automatic retries)، فال بیک چینز، ریٹ لمٹینگ، اور سب سے نمایاں طور پر، ماہانہ بجٹ کی سخت حد (hard monthly budget caps) شامل ہیں جو مقررہ حد تک پہنچنے کے بعد مزید اخراجات کو روک دیتے ہیں۔ اس سسٹم میں سادہ انگریزی میں ایک کاسٹ ڈیش بورڈ شامل ہے جو موجودہ استعمال اور تخمینے دکھاتا ہے۔ انسٹالیشن Docker Compose کے ذریعے ہموار ہے جس میں اختیاری سمپل موڈ (SQLite، کوئی Redis نہیں) یا فل اسٹیک (Postgres + Redis) موجود ہے۔ ایک Python کلائنٹ سنکرونس اور اسنکرونس دونوں انٹرفیس فراہم کرتا ہے۔ سیکیورٹی ڈیفالٹس پروڈکشن میں ڈیمو کیز اور mock providers کو غیر فعال رکھتے ہیں جب تک کہ واضح طور پر اجازت نہ دی جائے۔ یہ ان تنہا ڈویلپرز اور طلباء کے لیے آئیڈیل ہے جو انٹرپرائز پیچیدگی کے بغیر LiteLLM جیسا لچکدار نظام چاہتے ہیں۔