প্রকল্প সম্পর্কে

AISIX AI Gateway একটি ওপেন-সোর্স, Rust-নেটিভ গেটওয়ে যা OpenAI, Anthropic, Google Gemini, AWS Bedrock, Azure OpenAI, DeepSeek এবং যেকোনো OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্টসহ একাধিক LLM প্রোভাইডারের সামনে একটি একক, OpenAI-সামঞ্জস্যপূর্ণ API প্রদান করে। এটি প্ল্যাটফর্ম টিমের জন্য একটি নিয়ন্ত্রণ কেন্দ্র থেকে LLM ট্রাফিক রাউট, পরিচালনা, সুরক্ষিত এবং পর্যবেক্ষণ করার জন্য ডিজাইন করা হয়েছে। প্রধান বৈশিষ্ট্যগুলির মধ্যে রয়েছে: - **ইউনিফাইড API**: OpenAI বা Anthropic ওয়্যার ফরম্যাটে কথা বলুন; গেটওয়ে টার্গেট প্রোভাইডারে অনুবাদ করে। - **রাউটিং ও ফেইলওভার**: ছয়টি কৌশল (round_robin, consistent_hash, failover, least_cost, least_latency, least_busy), প্রায়োরিটি টায়ার, রিট্রাই বাজেট এবং কুলডাউন। - **এনসেম্বল মডেল**: একাধিক মডেলে অনুরোধ ছড়িয়ে দিন এবং একটি জাজ মডেল দিয়ে উত্তর সংশ্লেষণ করুন। - **সেমান্টিক রাউটিং**: এমবেডিং ব্যবহার করে প্রম্পটের অর্থের উপর ভিত্তি করে রাউট করুন। - **রেট লিমিটিং ও কনকারেন্সি**: RPS/RPM/RPH/RPD, TPM/TPD এবং কনকারেন্সি ক্যাপ, বিতরণকৃত সীমার জন্য Redis ব্যাকএন্ডসহ। - **গার্ডরেল**: কনটেন্ট-পলিসি প্রয়োগ (কীওয়ার্ড/রেজেক্স, PII সনাক্তকরণ, Presidio, Lakera, OpenAI Moderation, AWS Bedrock Guardrails, Azure AI Content Safety)। - **ক্যাশিং**: TTL সহ এক্সাক্ট-ম্যাচ রেসপন্স ক্যাশ, মেমরি/Redis ব্যাকএন্ড এবং Anthropic-এর জন্য স্বয়ংক্রিয় প্রম্পট ক্যাশিং। - **MCP গেটওয়ে**: গেটওয়ে-ধারণকৃত ক্রেডেনশিয়াল এবং টুল নেমস্পেসসহ /mcp-এ নিবন্ধিত MCP সার্ভারগুলির সামনে। - **A2A এজেন্ট গেটওয়ে**: /a2a/:agent-এ A2A এজেন্টগুলির সামনে। - **ইনবাউন্ড প্রমাণীকরণ**: কলার API কী (SHA-256 হ্যাশড) বা OIDC/JWT বিয়ারার টোকেন। - **অবজার্ভেবিলিটি**: Prometheus মেট্রিক্স, স্ট্রাকচার্ড অ্যাক্সেস লগ, OTLP/GenAI স্প্যান এক্সপোর্ট, Datadog এবং Aliyun SLS এক্সপোর্টার, অবজেক্ট-স্টোরেজ টেলিমেট্রি। - **ডিক্লারেটিভ কনফিগারেশন**: একটি resources.yaml ফাইল, JSON স্কিমার বিরুদ্ধে যাচাইকৃত, অ্যাটমিক SIGHUP রিলোডসহ। এটি কম ওভারহেডসহ একটি একক স্ট্যাটিক বাইনারি হিসাবে চলে, হট কনফিগারেশন রিলোড সমর্থন করে এবং মাল্টি-রেপ্লিকা ক্লাস্টারের জন্য etcd ব্যবহার করতে পারে। প্রকল্পটি Apache-2.0 লাইসেন্সপ্রাপ্ত এবং Apache APISIX-এর নির্মাতাদের দ্বারা নির্মিত। একটি বাণিজ্যিক ক্লাউড অফারিং (AISIX Cloud) বাজেট, অডিট এবং একটি ড্যাশবোর্ডসহ একটি কন্ট্রোল প্লেন যোগ করে।