প্রকল্প সম্পর্কে

llm-gateway হল একটি প্রোডাকশন-রেডি এন্টারপ্রাইজ LLM গেটওয়ে এবং কন্ট্রোল প্লেন, যা Java 21 এবং Spring Boot ব্যবহার করে বাস্তবায়িত। এটি একাধিক LLM প্রোভাইডারের জন্য একীভূত অ্যাক্সেস প্রদান করে এবং রাউটিং, ফলব্যাক, গার্ডরেল, অডিট লগিং এবং খরচ দৃশ্যমানতা ইত্যাদি অপারেশনাল কন্ট্রোল সরবরাহ করে। AI প্ল্যাটফর্ম নির্মাতাদের জন্য ডিজাইন করা, এটি সংস্থা, প্রকল্প এবং API কী এর মাধ্যমে মাল্টি-টেন্যান্সি সমর্থন করে এবং OpenAI এবং Anthropic-সামঞ্জস্যপূর্ণ API গুলি প্রকাশ করে। আর্কিটেকচারটি WebFlux-ভিত্তিক ডেটা প্লেন (gateway-app) এবং Spring MVC কন্ট্রোল প্লেন (control-plane) আলাদা করে, এবং কন্ট্র্যাক্ট, পার্সিস্টেন্স, রাউটিং এবং প্রোভাইডার SPI গুলির জন্য শেয়ার্ড মডিউল অন্তর্ভুক্ত করে। PostgreSQL-ভিত্তিক ডিজাইন দিয়ে নির্মিত, এতে Micrometer মেট্রিক্স, OpenAPI ডকুমেন্টেশন রয়েছে এবং রানটাইম সিকিউরিটির জন্য MCP এবং OAuth ইন্টিগ্রেট করা হয়েছে। ফ্রন্টএন্ড কনসোল ডেভেলপমেন্ট /frontend ডিরেক্টরির অধীনে চলছে। লোকাল ডেভেলপমেন্টের জন্য Java 21, Maven 3.9+ এবং ফ্রন্টএন্ড কাজের জন্য ঐচ্ছিকভাবে Node.js/pnpm প্রয়োজন। ডিফল্ট কনফিগারেশনগুলি প্রোভাইডার কী এর জন্য এনভায়রনমেন্ট ভেরিয়েবল ব্যবহার করে লোকাল টেস্টিংকে অনুমোদন করে। Swagger ডকুমেন্টেশন localhost:8080/docs (gateway) এবং localhost:8081/docs (control plane) এ উপলব্ধ। সক্রিয়ভাবে ডেভেলপ করা হচ্ছে, তবে ধাপে ধাপে ফিচার সম্প্রসারণের জন্য মডুলারভাবে গঠন করা হয়েছে।