ওপেন সোর্স। নতুন সম্ভাবনা।

OmniRoute একটি ওপেন-সোর্স MIT-লাইসেন্সযুক্ত AI গেটওয়ে যা ৩৫২+ AI প্রদানকারী এবং ১২০০+ মডেলের একক ইউনিফাইড এন্ডপয়েন্ট অ্যাক্সেস প্রদান করে (১৫০+ ফ্রি টায়ার)। এতে কোটা-সচেতন অটো-ফলব্যাক, ১৫–৯৫% টোকেন সংকোচন এবং Claude Code, Cursor, Cline সহ অন্যান্য কোডিং এজেন্টের সাথে ইন্টিগ্রেশন রয়েছে।

একটি প্রোডাকশন-গ্রেড, OpenAI-সামঞ্জস্যপূর্ণ স্মার্ট LLM রাউটার এবং ফলব্যাক প্রক্সি যা সাধারণ কুয়েরিগুলোকে Small Language Models (SLMs)-এ এবং জটিল কুয়েরিগুলোকে ফ্রন্টিয়ার মডেলগুলোতে রাউট করে খরচ অপ্টিমাইজ করে।

LiteLLM একটি ওপেন-সোর্স AI Gateway এবং Python SDK যা ১০০টিরও বেশি ভিন্ন LLM প্রোভাইডারের জন্য একটি ইউনিফাইড OpenAI-কম্প্যাটিবল ইন্টারফেস প্রদান করে।

AIGate একটি লোকাল OpenAI-সম্পর্ভ API গ্যাটওয়ে যা একাধিক AI সরবরাহকারীর API এক জায়গায় নিয়ন্ত্রণ করে। এতে মডেল নাম ম্যাপিং, SSE স্ট্রিমিং, টোকেন স্ট্যাটিস্টিক্স, ফেইলওভার প্রোটেকশন, চাইনীজ ত্রুটি বার্তা ও ভিজ্যুয়াল ম্যানেজমেন্ট প্যানেল রয়েছে।

একটি হালকা স্থানীয় API প্রক্সি যা চ্যাট ইতিহাস সংকুচিত করে, অপ্রয়োজনীয় কোড অপসারণ করে এবং সেমান্টিক ক্যাশিং বাস্তবায়ন করে LLM API খরচ কমায়।

Kong Gateway একটি ক্লাউড-নেটিভ, প্ল্যাটফর্ম-নিরপেক্ষ API, LLM এবং MCP গেটওয়ে যা প্লাগিন-ভিত্তিক এক্সটেন্সিবিলিটি, রাউটিং, লোড ব্যাল্যান্সিং, অপ্​ Authentication এবং AI ট্রাফিক ফিচার প্রদান করে।

বান রানটাইম দিয়ে তৈরি ওপেনএআই API রিলে সার্ভিস যা মডেল প্রিফিক্সের ভিত্তিতে ভিন্ন ভিন্ন ওপেনএআই-সামঞ্জস্যপূর্ণ ব্যাকএন্ডে অনুরোধ রুট করে।

llm-apipool ৪০+ ফ্রি LLM API-কে এক OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্টে সমন্বয় করে। স্বয়ংক্রিয়ভাবে কী ঘুরায়, রেট লিমিট পরিচালনা করে, ব্যবহার ট্র্যাক করে এবং CLI, TUI, প্রক্সি ও LangChain ইন্টিগ্রেশন সমর্থন করে।

একটি হালকা ওজনের OpenAI API রিভার্স প্রক্সি যা প্রতি-কী টোকেন বাজেট, রেট লিমিটিং, কস্ট ড্যাশবোর্ড এবং স্বয়ংক্রিয় মডেল ডাউনগ্রেডিং সুবিধা প্রদান করে।

OpenAI Chat Completions এবং Embeddings API‑এর জন্য ন্যূনতম FastAPI প্রক্সি। বহু-ভাড়াটে কী ম্যাপিং, স্ট্রিমিং এবং অফিসিয়াল SDK সামঞ্জস্যতা ডাটাবেস ছাড়া সমর্থন করে।

Gemini Web API-র জন্য একটি OpenAI-অনুকূল প্রক্সি সার্ভার যা ব্রাউজার কুকিজের মাধ্যমে অথেন্টিকেশন করে, কোনো অফিশিয়াল API কী ছাড়াই। এতে স্ট্রিমিং, টুল কলিং, এবং একাধিক গেমিনি মডেল সাপোর্ট আছে।