প্রকল্প সম্পর্কে

llm-apipool একটি স্ব-হোস্ট করা টুল যা একাধিক ফ্রি-টিয়ার লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) API-তে একক OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্টের (যেমন http://localhost:8000/v1) নিচে অ্যাক্সেস একত্রিত করে — Groq, Mistral, Cerebras, Google Gemini, OpenRouter, Hugging Face, GitHub এবং অন্যান্য সহ। এটি একাধিক API কী, SDK বা রেট লিমিট ম্যানুয়ালি পরিচালনা করার প্রয়োজনীয়তা দূর করে। সিস্টেম স্বয়ংক্রিয়ভাবে প্রতিটি প্রদানকারীর জন্য কী ঘুরিয়ে দেয়, রেট-সীমাবদ্ধতার সময় কোলডাউন প্রয়োগ করে এবং বিকল্প প্রদানকারী বা স্তরে পতিত হয়। এতে সেটআপ ও পরিচালনার জন্য CLI, রিয়েল-টাইম কী ও অডিট লগ পর্যবেক্ষণের জন্য ইন্টারেক্টিভ Textual-ভিত্তিক TUI, এবং অ্যানালিটিক্স ও সেটিংসের জন্য React ড্যাশবোর্ড রয়েছে। সামঞ্জস্যপূর্ণ প্রদানকারীদের জন্য SSE এর মাধ্যমে স্ট্রিমিং, মডেল জুড়ে একীভূত চেষ্টা কনফিগারেশন (নিম্ন/মাঝারি/উচ্চ যুক্তি), সাবস্ক্রাইবার ট্র্যাকিং, কানেকশন পুলিং এবং হেলথ চেক সহ Docker ডিপ্লয়মেন্টকে সমর্থন করে। এটি AggregatorChat এর মাধ্যমে LangChain-এর সাথে নিরবচ্ছিন্নভাবে ইন্টিগ্রেট হয় এবং বেস URL পরিবর্তন করে যেকোনো OpenAI-সামঞ্জস্যপূর্ণ টুলের (Hermes Agent, Cursor, Continue.dev ইত্যাদি) সাথে কাজ করে। API খরচ এড়ানোর সাথে সাথে উৎপাদন-স্তরের নির্ভরযোগ্যতা বজায় রাখতে চাহিদাপূর্ণ বিকাশকারী ও ছোট দলদের জন্য এটি তৈরি। এতে ৫২২টি পাসিং টেস্ট, Alembic মাইগ্রেশন এবং দলিলভুক্ত প্রদানকারী গাইড রয়েছে। রোডম্যাপে প্লাগিন সমর্থন, WebSocket স্ট্রিমিং, বহু-ব্যবহারকারী অনুমোদন এবং বণ্টিত ক্লাস্টারিং অন্তর্ভুক্ত।