প্রকল্প সম্পর্কে
FreeLLMAPI একটি ইউনিফাইড /v1 এন্ডপয়েন্ট প্রদান করে যার মাধ্যমে ৩৪টি LLM প্রোভাইডার এবং ৬০০-এর বেশি মডেল এন্ডপয়েন্টের ফ্রি টিয়ার অ্যাক্সেস করা সম্ভব। এটি ব্যবহারকারীদের একাধিক ফ্রি কোটা স্তূপ করতে দেয় যাতে মোট ইনফারেন্স ক্ষমতা বৃদ্ধি পায়, পাশাপাশি রেট লিমিট এবং প্রোভাইডার ফেইলিয়ারগুলো স্বয়ংক্রিয়ভাবে পরিচালনা করে।
এর মূল সক্ষমতাগুলোর মধ্যে রয়েছে:
- ইউনিফাইড API: চ্যাট, কমপ্লিশন, এমবেডিং, ইমেজ, ভিডিও এবং স্পিচ-এর জন্য OpenAI-সামঞ্জস্যপূর্ণ সারফেসের পাশাপাশি Anthropic Messages এবং Gemini নেটিভ সারফেস সমর্থন করে।
- স্মার্ট রাউটিং: এতে ছয়টি রাউটিং স্ট্র্যাটেজি রয়েছে যা প্রোভাইডারদের রেট-লিমিটেড হলে বা এরর রিটার্ন করলে অটোমেটিক ফেইলওভার এবং কি রোটেশন (key rotation) নিশ্চিত করে।
- মডেল ম্যানেজমেন্ট: এতে একটি সেলফ-আপডেটিং মডেল ক্যাটালগ এবং এনক্রিপ্টেড API কি ম্যানেজ করার ও ইউসেজ অ্যানালিটিকস ট্র্যাক করার জন্য একটি React-ভিত্তিক অ্যাডমিন ড্যাশবোর্ড রয়েছে।
- অ্যাডভান্সড ফিচারস: এটি 'Fusion' (মাল্টি-মডেল সিন্থেসিস), প্রম্পট কম্প্রেশন, কনটেক্সট হ্যান্ডঅফের জন্য স্টিকি সেশন এবং এজেন্ট ইন্ট্রোস্পেকশনের জন্য একটি MCP সার্ভার অফার করে।
- ডেপ্লয়মেন্ট: এটি Docker কন্টেইনার, macOS এবং Windows-এর জন্য নেটিভ ডেস্কটপ অ্যাপ হিসেবে উপলব্ধ এবং ARM SBC-সহ Node 20+ এনভায়রনমেন্টে চলে।
- ইন্টিগ্রেশন: এটি Claude Code, Aider, Cline এবং Cursor-এর মতো বিভিন্ন কোডিং এজেন্ট এবং CLI-এর জন্য অটোমেটেড সেটআপ টুলস প্রদান করে।