প্রকল্প সম্পর্কে

Manifest LLM Gateway হলো AI এজেন্ট ও অ্যাপ্লিকেশনের জন্য ডিজাইন করা একটি ওপেন-সোর্স LLM গেটওয়ে। এটি API কী, সাবস্ক্রিপশন এবং লোকাল মডেলগুলোকে একটি একক OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্টে একত্রিত করে, যাতে প্রতিটি কোয়েরি প্রোভাইডার লক-ইন ছাড়াই উপযুক্ত মডেলে রাউট করা যায়। মূল সক্ষমতাগুলোর মধ্যে রয়েছে API কী, সাবস্ক্রিপশন, লোকাল মডেল এবং কাস্টম প্রোভাইডার জুড়ে কাস্টম রাউটিং; সফল ও ত্রুটি বার্তার জন্য সম্পূর্ণ বডি লগিং; নোটিফিকেশন ও সীমাসহ খরচ ট্র্যাকিং; এবং কোয়েরি ব্যর্থ হলে ভিন্ন মডেলে স্বয়ংক্রিয় ফলব্যাক, যার মধ্যে খারাপ রিকোয়েস্টের জন্য সেলফ-হিলিংও অন্তর্ভুক্ত। প্রকল্পটি ৩৫টি বিল্ট-ইন প্রোভাইডার সংযোগের মাধ্যমে ৩০০+ মডেল সমর্থন করে, সাথে যেকোনো কাস্টম OpenAI বা Anthropic-সামঞ্জস্যপূর্ণ এন্ডপয়েন্ট। ব্যবহারকারীরা নিজেদের API কী আনতে পারেন, ১৮টি সাবস্ক্রিপশন ফ্লোর একটি পুনরায় ব্যবহার করতে পারেন, অথবা মডেল লোকালি চালাতে পারেন। প্রোভাইডারদের মধ্যে রয়েছে OpenAI, Anthropic, Google, AWS Bedrock, DeepSeek, Mistral, Ollama, LM Studio, llama.cpp, OpenRouter, Hugging Face এবং আরও অনেক। "model": "auto" পাঠালে Manifest মডেল নির্বাচন করে। ডিপ্লয়মেন্ট অপশনের মধ্যে রয়েছে app.manifest.build-এ একটি ক্লাউড সংস্করণ, একটি সেলফ-হোস্টেড Docker ইমেজ, এবং Railway, Render, DigitalOcean, AWS, GCP, Fly.io, Coolify, Easypanel, Heroku, Koyeb ও Apple Containers-এর জন্য ওয়ান-ক্লিক ডিপ্লয়মেন্ট টেমপ্লেট। প্রকল্পটি MIT লাইসেন্সের অধীনে এবং ডকুমেন্টেশন, একটি n8n কমিউনিটি নোড ও একটি Discord কমিউনিটি প্রদান করে।