منصوبے کے بارے میں

یہ پروجیکٹ LiteLLM اور LangChain کا استعمال کرتے ہوئے LLM Gateway بنانے کا مظاہرہ کرتا ہے، جو OpenAI-compatible API کے ذریعے متعدد AI فراہم کنندگان (OpenAI, Groq وغیرہ) تک یکساں رسائی کو ممکن بناتا ہے۔ اس میں ذہین ماڈل رائٹنگ، خودکار فیلی اوور، لاڈ بالانسنگ، لاگت کی ٹریکنگ، کیچنگ، مشاہدہ پذیری، اور input-side guardrails جیسے PII redaction اور prompt injection بلاکنگ شامل ہیں۔ یہ نفاذ ایک قابلِ چلانے Jupyter notebook کے طور پر پیش کیا گیا ہے جو بنیادی یکساں API کالز سے لے کر config.yaml کے ذریعے production-ready proxy server سیٹ اپ تک ہر تصور کو قدم بہ قدم سمجھاتا ہے۔ یہ LangChain chains کے ساتھ بآسانی انٹیگریٹ ہوتا ہے اور autoscaling infrastructure کے پیچھے ڈپلائمنٹ کو سپورٹ کرتا ہے۔ بہترین روایات میں Redis caching, per-user rate limits, observability backends کو logging, اور version-controlled configuration شامل ہیں۔ یہ گیٹوی فراہم کنندہ مخصوص SDKs کو abstract کرتا ہے، جس سے ٹیمیں بغیر کوڈ تبدیلی کے ماڈلز یا فراہم کنندگان بدل سکتی ہیں، جبکہ لاگت، لیٹنسی، اور سیکیورٹی کنٹرولز کو مرکزیت دی جاتی ہے۔