منصوبے کے بارے میں

llm-gateway ایک پروڈکشن‑ریڈی انٹرپرائز LLM گیٹ وے اور کنٹرول پلین ہے جو Java 21 اور Spring Boot کے ساتھ نافذ کیا گیا ہے۔ یہ متعدد LLM فراہم کنندگان تک متحد رسائی کو ممکن بناتا ہے جبکہ روٹنگ، فال بیکس، گارڈ ریلز، آڈٹ لاگنگ اور لاگت کی وضاحت جیسے آپریشنل کنٹرولز فراہم کرتا ہے۔ AI پلیٹ فارم بنانے والوں کے لیے ڈیزائن کیا گیا، یہ تنظیموں، پروجیکٹس اور API کیز کے ذریعے ملٹی‑ٹیننسی کی حمایت کرتا ہے اور OpenAI اور Anthropic کے ہم آہنگ APIs پیش کرتا ہے۔ آرکیٹیکچر WebFlux‑بیسڈ ڈیٹا پلین (gateway-app) کو Spring MVC کنٹرول پلین (control-plane) سے الگ کرتا ہے، اور معاہدے، پرسسٹنس، روٹنگ اور پرووائیڈر SPIs کے لیے مشترکہ ماڈیولز شامل ہیں۔ PostgreSQL پر مبنی ڈیزائن کے ساتھ بنایا گیا، اس میں Micrometer میٹرکس، OpenAPI دستاویزات شامل ہیں اور رن ٹائم سیکیورٹی کے لیے MCP اور OAuth کو ضم کرتا ہے۔ فرنٹ اینڈ کنسول کی ترقی /frontend کے تحت جاری ہے۔ مقامی ترقی کے لیے Java 21، Maven 3.9+ اور اختیاری طور پر Node.js/pnpm کی ضرورت ہے۔ ڈیفالٹ کنفیگریشنز ماحول کے متغیرات کے ذریعے پرووائیڈر کیز کے ساتھ مقامی ٹیسٹنگ کی اجازت دیتی ہیں۔ Swagger دستاویزات localhost:8080/docs (gateway) اور localhost:8081/docs (control plane) پر دستیاب ہیں۔ یہ فعال طور پر تیار ہو رہا ہے لیکن ماڈیولر ساخت کے ساتھ تدریجی فیچر توسیع کے لیے ڈیزائن کیا گیا ہے۔