প্রকল্প সম্পর্কে

AI Gateway হলো একটি উচ্চ পারফরম্যান্স এবং সহজে বৃদ্ধিযোগ্য এআই মডেল API গেটওয়ে, যা একাধিক বড় ভাষ্য মডেল পরিষেবার unified কল ইনলেট প্রদান করে। এটি OpenAI API ফরম্যাটের সাথে সামঞ্জস্যপূর্ণ, যা ডেভেলপারদের একটি কোড বেস ব্যবহার করে OpenAI, Anthropic (Claude), টংই কিঞ্চিয়ান (DashScope), Ollama সহ একাধিক সরবরাহকারীদের সাথে সংযোগ করতে সক্ষম করে। Chat, Vision, Image Generation, Speech-to-Text, Text-to-Speech, Embeddings সম্পূর্ণ মাল্টিমোডালিটি ফিচার সমর্থন করে। সিস্টেমটি Go + Gin দিয়ে নির্মিত, উচ্চ concurrent ক্ষমতা, stateless design horizontal scaling সমর্থন করে। builtin Prometheus মেট্রিক্স, গঠনকৃত লগ, অনুরোধ ট্র্যাকিং, token bucket rate limiting, API Key quota ব্যবস্থাপনা অন্তর্ভুক্ত, এবং MySQL/PostgreSQL স্টোরেজ ব্যাকএন্ড ও memory/Redis caching সমর্থন করে। health check, API Key ব্যবস্থাপনা, ব্যবহার পরিসংখ্যান এর মতো ফিচার প্রদান করে, যা Enterprise বা ব্যক্তিগতভাবে private AI সেবা部署 সহজতর করে। প্রকল্প কাঠামো পরিষ্কার, ডেভেলপারদের সহজে নতুন Provider যোগ করতে সাহায্য করে। একাধিক AI সেবা unified接入 এবং traffic control, monitoring, cost management প্রয়োজন এমন scenario-এ উপযুক্ত।