ওপেন সোর্স। নতুন সম্ভাবনা।

Apache APISIX হলো NGINX এবং etcd-এর উপর নির্মিত একটি গতিশীল, রিয়েল-টাইম, উচ্চ-ক্ষমতাসম্পন্ন ক্লাউড-নেটিভ API এবং AI গেটওয়ে, যা ডায়নামিক রাউটিং, প্লাগইন হট-লোডিং, মাল্টি-প্রোটোকল সাপোর্ট এবং LLM ওয়ার্কলোডের জন্য AI প্রক্সি প্রদান করে।

AI Gateway ইন্টেন্ট, খরচ এবং প্রদানকারীর স্বাস্থ্য অনুযায়ী LLM অনুরোধ বুদ্ধিমানভাবে রুট করে — একাধিক-টেনেন্ট অ্যাক্সেস, ক্যাশিং, ফেইলওভার এবং পর্যবেক্ষণ সমর্থন করে — উৎপাদন-পর্যায়ের AI অ্যাপের খরচ কমায় এবং নির্ভরযোগ্যতা বাড়ায়।

OmniRoute একটি ওপেন-সোর্স MIT-লাইসেন্সযুক্ত AI গেটওয়ে যা ৩৫২+ AI প্রদানকারী এবং ১২০০+ মডেলের একক ইউনিফাইড এন্ডপয়েন্ট অ্যাক্সেস প্রদান করে (১৫০+ ফ্রি টায়ার)। এতে কোটা-সচেতন অটো-ফলব্যাক, ১৫–৯৫% টোকেন সংকোচন এবং Claude Code, Cursor, Cline সহ অন্যান্য কোডিং এজেন্টের সাথে ইন্টিগ্রেশন রয়েছে।

MultiRouter AI হলো একটি OpenAI-সামঞ্জস্যপূর্ণ গেটওয়ে যা স্বয়ংক্রিয় ফেইলওভার এবং লোড ব্যালেন্সিংয়ের মাধ্যমে একাধিক AI প্রোভাইডারের মধ্যে চ্যাট রিকোয়েস্ট রাউট করে। এটি YAML কনফিগুরেশনের মাধ্যমে Groq, Cerebras, Gemini, OpenAI এবং কাস্টম এন্ডপয়েন্ট সমর্থন করে।

CoAI (পূর্বে Chat Nio) একটি ওপেন-সোর্স, সেলফ-হোস্টেড প্ল্যাটফর্ম যা AI চ্যাট UI এবং OpenAI-সামঞ্জস্যপূর্ণ API গেটওয়ে একত্রিত করে। এটি মাল্টি-প্রোভাইডার চ্যানেল রাউটিং, লোড ব্যালেন্সিং, সাবস্ক্রিপশন ও ব্যবহার-ভিত্তিক বিলিং, অ্যাডমিন ড্যাশবোর্ড, ফাইল পার্সিং এবং SearXNG ওয়েব সার্চ সমর্থন করে।

একটি ক্লাউডফ্লেয়ার ওয়ার্কার্স এআই এর জন্য ডিজাইন করা জিরো-খরচ গেটওয়ে। একাধিক অ্যাকাউন্টের বিনামূল্যের সুবিধা, বুদ্ধিমান রাউটিং এবং ফিউশন মেকানিজমের মাধ্যমে, Qwen3 ইত্যাদি মডেলগুলিকে স্ট্যান্ডার্ড ওপেনএআই এপিআইতে রূপান্তরিত করে, চেরি স্টুডিও ইত্যাদি ক্লায়েন্টদের সমর্থন করে।

gateway হলো OpenAI-এর জন্য একটি হেডলেস এআই গেটওয়ে যা নিরাপদ মাল্টি-ইউজার অ্যাক্সেস, খরচ ট্র্যাকিং, রেট লিমিটিং এবং পিআইআই রিড্যাকশন মিনিমাল সেটআপে সক্ষম করে।

SMBU ক্যাম্পাস নেটওয়ার্কের জন্য একটি AI API গেটওয়ে এবং ইউজার পোর্টাল, যা New API-এর উপর ভিত্তি করে তৈরি। এটি ক্যাম্পাস ইমেল রেজিস্ট্রেশন, গ্রাফিকাল ক্যাপচা, মডেল মার্কেট, টিউটোরিয়াল এবং ফিডব্যাক সিস্টেম সমর্থন করে।

LiteLLM একটি ওপেন-সোর্স AI Gateway এবং Python SDK যা ১০০টিরও বেশি ভিন্ন LLM প্রোভাইডারের জন্য একটি ইউনিফাইড OpenAI-কম্প্যাটিবল ইন্টারফেস প্রদান করে।

AIGate একটি লোকাল OpenAI-সম্পর্ভ API গ্যাটওয়ে যা একাধিক AI সরবরাহকারীর API এক জায়গায় নিয়ন্ত্রণ করে। এতে মডেল নাম ম্যাপিং, SSE স্ট্রিমিং, টোকেন স্ট্যাটিস্টিক্স, ফেইলওভার প্রোটেকশন, চাইনীজ ত্রুটি বার্তা ও ভিজ্যুয়াল ম্যানেজমেন্ট প্যানেল রয়েছে।

New API একটি স্ব-হোস্টযোগ্য LLM গেটওয়ে যা একাধিক AI প্রদানকারীকে একত্রিত করে এবং OpenAI, Claude ও Gemini API ফরম্যাটের মধ্যে রূপান্তর করে, সাথে মাল্টি-ইউজার প্রমাণীকরণ, চ্যানেল রাউটিং, পুনরায় চেষ্টা এবং ব্যবহার-ভিত্তিক বিলিং যোগ করে।

Switchboard হলো একটি লোকাল-ফার্স্ট AI গেটওয়ে যা আপনার মেশিনে চলে এবং ১৬টি AI প্রভাইডারের মধ্যে অনুরোধ রুট করে। এটি ফ্রি টায়ার অগ্রাধিকার, স্বয়ংক্রিয় ফলব্যাক এবং পূর্ণ রুটিং সিদ্ধান্ত লগিং সরবরাহ করে। কোনো ক্লাউড টেলিমেট্রি নেই।

Higress হল Istio এবং Envoy-এর উপর নির্মিত একটি ক্লাউড-নেটিভ AI-নেটিভ API গেটওয়ে, যেখানে Wasm প্লাগইন সম্প্রসারণযোগ্যতা, ইউনিফাইড LLM প্রোভাইডার অ্যাক্সেস, MCP সার্ভার হোস্টিং এবং Kubernetes ইনগ্রেস সমর্থন রয়েছে।

হাইপারস্ট্রেট সার্ভার হলো একটি সেলফ-হোস্ড এআই গেটওয়ে, যা উৎপাদন পর্যায়ে এলএলএম ট্র্যাফিকের জন্য মডেল রাউটিং, প্রদানকারী অর্কেস্ট্রেশন ও শাসনব্যবস্থা প্রদান করে।

LiteLLM ও LangChain ব্যবহার করে LLM Gateway তৈরির প্রজেক্ট, যা OpenAI-কোম্প্যাটিবল API-র মাধ্যমে একাধিক AI প্রদানকারীতে unified অ্যাক্সেস দেয়।

Kong Gateway একটি ক্লাউড-নেটিভ, প্ল্যাটফর্ম-নিরপেক্ষ API, LLM এবং MCP গেটওয়ে যা প্লাগিন-ভিত্তিক এক্সটেন্সিবিলিটি, রাউটিং, লোড ব্যাল্যান্সিং, অপ্​ Authentication এবং AI ট্রাফিক ফিচার প্রদান করে।