প্রকল্প সম্পর্কে

Azure AI Proxy হলো একটি হালকা ওজনের, মডুলার সার্ভার যা একটি Azure OpenAI-সামঞ্জস্যপূর্ণ API ইন্টারফেস প্রদান করে এবং LiteLLM-এর মাধ্যমে DeepSeek, MIMO, Anthropic, Ollama এবং কাস্টম এন্ডপয়েন্টসহ বিভিন্ন প্রোভাইডারের ব্যাকএন্ড মডেলগুলোতে অনুরোধগুলো রাউট করে। এটি ডেভেলপারদের এমন টুল এবং IDE-তে (যেমন GitHub Copilot সহ JetBrains) নন-Azure LLM ব্যবহার করতে সক্ষম করে যা Azure OpenAI ফরম্যাট প্রত্যাশা করে। এই প্রক্সিটি চ্যাট কমপ্লিশন, এমবেডিং, লেগাসি কমপ্লিশন, মডেল লিস্টিং এবং ডেপ্লয়মেন্ট ম্যানেজমেন্ট সমর্থন করে। এর মূল বৈশিষ্ট্যগুলোর মধ্যে রয়েছে YAML-এর মাধ্যমে মাল্টি-মডেল কনফিগারেশন, UI সামঞ্জস্যতার জন্য মডেল আইডেন্টিটি ইমুলেশন, কিপঅলাইভ এবং টাইমআউট হ্যান্ডলিং সহ উন্নত স্ট্রিমিং, টুল কল স্যানিটাইজেশন, গ্রেসফুল এরর ম্যাপিং, ডিবাগ লগিং এবং ঐচ্ছিক API কী অথেন্টিকেশন। ইনস্টলেশন অপশনগুলোর মধ্যে pip, Windows/macOS/Linux-এর জন্য ওয়ান-লাইনার স্ক্রিপ্ট অথবা Docker অন্তর্ভুক্ত রয়েছে। কনফিগারেশন একটি সহজ config.yaml ফাইলের মাধ্যমে পরিচালিত হয় যেখানে হোস্ট, পোর্ট, টাইমআউট, লগিং এবং API কী, বেস URL এবং টোকেন লিমিটসহ প্রতি-মডেল প্যারামিটার সংজ্ঞায়িত করা থাকে। প্রজেক্ট স্ট্রাকচারটি প্রতিটি এন্ডপয়েন্ট টাইপের জন্য হ্যান্ডলার এবং অথ, CORS এবং লগিং-এর জন্য মিডলওয়্যার সহ স্পষ্টভাবে মডুলারাইজ করা হয়েছে। এর জন্য শুধুমাত্র aiohttp, litellm এবং pyyaml ডিপেন্ডেন্সি প্রয়োজন। প্রক্সিটি GPL v3 লাইসেন্সের অধীনে এবং CarmJos দ্বারা রক্ষণাবেক্ষণ করা হয়, যেখানে GitHub Sponsors বা ifdian.net-এর মাধ্যমে সমর্থন উৎসাহিত করা হয়।