প্রকল্প সম্পর্কে

free-llm-api-stack হলো একটা হালকা Python রাউটার, যা Groq, Cerebras, Google Gemini, এবং OpenRouter-এর মতো একাধিক বিনামূল্যে LLM API টায়ারকে একটি একক, টেকসই এন্ডপয়েন্টে সমন্বয় করার জন্য তৈরি। এটি একটি OpenAI-সামঞ্জস্যপূর্ণ ইন্টারফেস প্রদান করে যেখানে স্বয়ংক্রিয় ফেলওভার সুবিধা রয়েছে; কোনো প্রদানকারী যদি রেট লিমিট এরর (HTTP 429), সার্ভার এরর (5xx), বা টাইমআউট দেখায়, তবে অনুরোধ স্বচ্ছভাবে স্ট্যাকের পরবর্তী উপলব্ধ প্রদানকারীর কাছে পাঠানো হয়। এই টুলটি শূন্য বহিঃনির্ভরতা দিয়ে তৈরি এবং একটি কেন্দ্রীয় providers.json ফাইল ব্যবহার করে API এন্ডপয়েন্ট, পরিবেশ চলকের নাম এবং মডেল সীমা পরিচালনা করে। এই আর্কিটেকচার ডেভেলপারদের LLM-চালিত অ্যাপ্লিকেশনের উচ্চ সহগামীতা বজায় রাখতে সাহায্য করে প্রতিটি বিনামূল্যে-স্তরের কোটায় পৌঁছানো এড়িয়ে। এছাড়া রিপোজিটরিতে Claude Code-এর জন্য একটি বিশেষ স্কিল রয়েছে যা বিদ্যমান প্রকল্পে স্থিতিশীল বিনামূল্যে ব্যাকএন্ড ইন্টিগ্রেশন স্বয়ংক্রিয় করতে সহায়তা করে।