প্রকল্প সম্পর্কে

AI Gateway হলো একটি ওপেন-সোর্স টুল যা একটি একক, ইউনিফাইড API-এর মাধ্যমে একাধিক লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) প্রোভাইডারের অ্যাক্সেস সহজ করার জন্য ডিজাইন করা হয়েছে। এটি OpenAI, Gemini, Groq, Mistral এবং আরও অনেক প্রোভাইডারের অনুরোধ রাউটিং সমর্থন করে — যার মধ্যে Ollama-এর মাধ্যমে লোকাল মডেল বা পরীক্ষার জন্য মক রেসপন্স অন্তর্ভুক্ত। এর মূল বৈশিষ্ট্যগুলোর মধ্যে রয়েছে অটোমেটিক রিট্রাই, ফলব্যাক চেইন, রেট লিমিটিং এবং সবচেয়ে উল্লেখযোগ্যভাবে, মাসিক বাজেটের কঠোর সীমা (hard monthly budget caps) যা নির্ধারিত সীমায় পৌঁছানোর পর পরবর্তী খরচ বন্ধ করে দেয়। এই সিস্টেমটিতে একটি সহজ ইংরেজি কস্ট ড্যাশবোর্ড রয়েছে যা বর্তমান ব্যবহার এবং প্রজেকশন দেখায়। Docker Compose-এর মাধ্যমে এর ইনস্টলেশন প্রক্রিয়া সহজ করা হয়েছে, যেখানে অপশনাল সিম্পল মোড (SQLite, কোনো Redis নেই) অথবা ফুল স্ট্যাক (Postgres + Redis) বেছে নেওয়া যায়। একটি Python ক্লায়েন্ট সিনক্রোনাস এবং অ্যাসিনক্রোনাস উভয় ইন্টারফেস প্রদান করে। সিকিউরিটি ডিফল্ট হিসেবে প্রোডাকশনে ডেমো কি এবং মক প্রোভাইডারগুলো নিষ্ক্রিয় থাকে, যদি না স্পষ্টভাবে অনুমতি দেওয়া হয়। এটি সেই সব সোলো ডেভেলপার এবং শিক্ষার্থীদের জন্য আদর্শ যারা এন্টারপ্রাইজ জটিলতা ছাড়াই LiteLLM-এর মতো নমনীয়তা চান।