প্রকল্প সম্পর্কে

panllm হলো একটি সহজবোধ্য Python লাইব্রেরি যা বিভিন্ন ব্যাকএন্ড জুড়ে একটি সামঞ্জস্যপূর্ণ API প্রদানের মাধ্যমে লোকাল LLM ইনফারেন্সকে সহজ করার জন্য ডিজাইন করা হয়েছে। এটি ডেভেলপারদের তাদের কোর লজিক পরিবর্তন না করেই ইনফারেন্স ইঞ্জিন পরিবর্তন করার সুযোগ দেয়। বর্তমানে এটি llama-cpp-python সমর্থন করে এবং ভবিষ্যতে Transformers, ExLlamaV2 এবং ExLlamaV3 ইন্টিগ্রেট করার পরিকল্পনা রয়েছে। এর মূল বৈশিষ্ট্যগুলোর মধ্যে রয়েছে সহজ টেক্সট কমপ্লিশন, ফোর্সড ব্যাকএন্ড সিলেকশন এবং প্রতি সেকেন্ডে টোকেন সংখ্যার মতো পারফরম্যান্স স্ট্যাটিস্টিকসসহ স্ট্রিমড চ্যাট জেনারেশন। এই লাইব্রেরিটির লক্ষ্য হলো লোকাল মডেল ডেপ্লয়মেন্টের জন্য পৃথক ইনফারেন্স ইমপ্লিমেন্টেশনের জটিলতাগুলোকে একটি একক, হাই-লেভেল ইন্টারফেসে রূপান্তর করা।