প্রকল্প সম্পর্কে

AI Gateway হলো একটি হালকা ওজনের, সেলফ-হোস্টেবল API গেটওয়ে যা OpenAI-এর ইন্টারফেসের সাথে সামঞ্জস্যপূর্ণভাবে ডিজাইন করা হয়েছে। এটি ব্যবহারকারীদের তাদের অ্যাপ্লিকেশনে ব্যবহৃত নির্দিষ্ট মডেল নামের সাথে ম্যাপ করা রুট সংজ্ঞায়িত করতে দেয়, এবং তারপর কনফিগার করা প্রোভাইডারদের মাধ্যমে পর্যায়ক্রমে রিকোয়েস্ট পাঠানোর চেষ্টা করে যতক্ষণ না একটি সফল হয় — যা রেট লিমিট বা আউটজের কারণে ব্যর্থতা কমাতে সাহায্য করে। এটি Docker ডিপ্লয়মেন্ট, systemd সার্ভিস এবং লোকাল বাইনারি বিল্ড সমর্থন করে। কনফিগারেশন YAML-এর মাধ্যমে পরিচালনা করা হয় যেখানে এনভায়রনমেন্ট ভেরিয়েবল সাবস্টিটিউশন সুবিধা রয়েছে, যা নমনীয় প্রোভাইডার সেটআপ (যেমন Cerebras, OpenRouter) এবং প্রতি-রুট টাইমআউট সক্ষম করে। এতে সামঞ্জস্যতা সংশোধনের জন্য রিকোয়েস্ট অ্যাডাপ্টার (যেমন tool_choice রিল্যাক্সেশন বা JSON স্কিমা ইনজেকশন), ক্ষণস্থায়ী ত্রুটির ক্ষেত্রে এন্ডপয়েন্ট রোটেশন এবং ডায়াগনস্টিক এন্ডপয়েন্ট অন্তর্ভুক্ত রয়েছে। অথেন্টিকেশনের জন্য API কী ব্যবহৃত হয়; OTLP/HTTP-এর মাধ্যমে টেলিম্যাট্রি ঐচ্ছিক। সিকিউরিটি ডিফল্টগুলোর মধ্যে রয়েছে নন-রুট এক্সিকিউশন এবং রিড্যাক্টেড লগ। এটি সেইসব ডেভেলপারদের জন্য আদর্শ যারা n8n-এর মতো অ্যাপে LLM ইন্টিগ্রেট করতে চান এবং একই সাথে প্রোভাইডার ফলব্যাক-এর উপর স্থিতিস্থাপকতা ও নিয়ন্ত্রণ বজায় রাখতে চান।