প্রকল্প সম্পর্কে

নোড.জেএস-ভিত্তিক এই প্রক্সি স্তর ব্যবহারকারীদের/OpenAI-সামঞ্জস্যপূর্ণ ইন্টারফেস (/v1/chat/completions) ব্যবহার করে একাধিক সরবরাহকারীগুলোর মধ্য দিয়ে AI মডেল অনুরোধ রুট করতে দেয়। এটি AI ডিপ্লয়মেন্টে নির্ভরযোগ্যতা এবং নমনীয়তা নিশ্চিত করতে ডিজাইন করা হয়েছে। প্রধান সামর্থ্যগুলোর মধ্যে রয়েছে: - বহু-সরবরাহকারী ফলব্যাক: সংজ্ঞায়িত অগ্রাধিকারের ভিত্তিতে একই মডেলের জন্য একাধিক সরবরাহকারীতে অনুরোধ রুট করা। - স্বাস্থ্য-চেতন রুটিং: প্রদত্ত স্বাস্থ্য রিয়েল-টাইমে ট্র্যাক করে স্বয়ংক্রিয় ফলব্যাক এবং পুনরুদ্ধার প্রক্রিয়া নিশ্চিত করা। - নিরাপদ কনফিগারেশন: গোপনীয় শব্দ হার্ডকোডিং এড়াতে পরিবেশ চলকের মাধ্যমে API কী ইনজেকশন সমর্থন করে। - মডেল ম্যাপিং: নির্দিষ্ট মডেলকে বিভিন্ন সরবরাহকারী ইন্ডপয়েন্ট এবং API কীর সাথে ম্যাপ করতে YAML কনফিগারেশন ব্যবহার করে। - স্থানীয় প্রশাসন ইউআই: মডেল-সরবরাহকারী ম্যাপিং পরিচালনার জন্য একটি ঐচ্ছিক হালকা প্যানেল অন্তর্ভুক্ত। - এজ-রেডি ডিজাইন: Cloudflare Workers বা Vercel Edge-এর মতো এজ প্ল্যাটফর্মগুলোতে স্থানান্তরের জন্য আর্কিটেక్টিউরড।