প্রকল্প সম্পর্কে

ইনজা এলএলএম গেটওয়ে হল একটি হালকা, নির্ভরতা-মুক্ত API গেটওয়ে যা বড় ভাষার মডেল প্রদানকারীদের জন্য। এটি OpenAI Chat Completions, Anthropic Messages, বা নেটিভ Gemini ডায়ালেক্টে অনুরোধ গ্রহণ করে এবং যেকোনো কনফিগার করা আপস্ট্রিম প্রদানকারীর কাছে রাউট করে — যেমন OpenAI, Anthropic, Google, DeepSeek, xAI, Moonshot, OpenRouter, vLLM এবং অন্যান্য। একই-ডায়ালেক্ট ট্রাফিক প্রায় হুবহু পাস থ্রু হয়; ক্রস-ডায়ালেক্ট অনুরোধগুলি স্বয়ংক্রিয়ভাবে অনুবাদ করা হয়, যার মধ্যে স্ট্রাকচার্ড আউটপুট, টুল ব্যবহার এবং থিংকিং ব্লক সমর্থিত। গেটওয়েটি সম্পূর্ণ স্টেটলেস — কোনো ডেটাবেস, সেশন বা স্টিকি রাউটিং নেই, তাই অভিন্ন রেপ্লিকাগুলি স্কেল করা তুচ্ছ। এটি macOS, Linux এবং Windows-এর জন্য একটি একক স্ট্যাটিক বাইনারি হিসেবে বিতরণ করা হয় এবং Docker ও Kubernetes ডিপ্লয়মেন্ট ম্যানিফেস্ট অন্তর্ভুক্ত। একমাত্র রানটাইম নির্ভরতা হলো gopkg.in/yaml.v3। মূল ক্ষমতাগুলির মধ্যে রয়েছে চার ধরনের প্রদানকারী (openai, openai_compat, anthropic, google) সহ মাল্টি-প্রোভাইডার ইগ্রেস, মডেল অ্যালিয়াস এবং রাউটিং, শেয়ার্ড সিক্রেট সহ ঐচ্ছিক এজ অথেনটিকেশন, OAuth2 এবং সার্ভিস-অ্যাকাউন্ট টোকেন উৎস এবং /ui-তে একটি বিল্ট-ইন অপারেটর ড্যাশবোর্ড। ইউসেজ মিটারিং প্রতি প্রক্সিড অনুরোধে একটি ইভেন্ট নির্গত করে — JSONL, অ্যাসিঙ্ক ওয়েবহুক, ঐচ্ছিক SQLite বা ইন-প্রসেস Go হুকের মাধ্যমে। গেটওয়ে এমবেডিংস, ইমেজ জেনারেশন, ভিডিও জবস, টেক্সট-টু-স্পিচ, স্পিচ-টু-টেক্সট, OpenAI Responses, Files, Batches, Moderations এবং Realtime WebSocket সেশন (কেবলমাত্র একই-প্রোটোকল পাসথ্রু) সমর্থন করে। কনফিগারেশনটি একটি একক YAML ফাইল, যাতে এনভায়রনমেন্ট-ভেরিয়েবল ওভাররাইড থাকে। হেলথ চেক, Prometheus মেট্রিক্স, বডি-সাইজ লিমিট এবং গ্রেসফুল শাটডাউন বিল্ট-ইন। প্রকল্পটি AGPL-3.0 লাইসেন্সের অধীনে।