প্রকল্প সম্পর্কে

bitnet.cpp হলো 1-বিট LLM (যেমন BitNet b1.58)-এর জন্য অফিসিয়াল ইনফারেন্স ফ্রেমওয়ার্ক। এটি অপ্টিমাইজড কার্নেলের একটি স্যুট সরবরাহ করে, যা CPU ও GPU-তে 1.58-বিট মডেলের দ্রুত এবং লসলেস ইনফারেন্স সক্ষম করার উদ্দেশ্যে তৈরি; NPU সাপোর্ট শীঘ্রই আসছে বলে উল্লেখ করা হয়েছে। প্রজেক্টটি llama.cpp ফ্রেমওয়ার্কের উপর ভিত্তি করে তৈরি, এবং এর কার্নেলগুলো T-MAC-এ প্রবর্তিত লুকআপ-টেবিল পদ্ধতির উপর নির্মিত। README-তে বর্ণিত মূল ক্ষমতাসমূহ: - টারনারি/1-বিট মডেলের জন্য CPU ইনফারেন্স; ফুল-প্রিসিশন মডেলের তুলনায় ARM CPU-তে 1.37x থেকে 5.07x এবং x86 CPU-তে 2.37x থেকে 6.17x গতি বৃদ্ধির পাশাপাশি 55.4%-70.0% (ARM) এবং 71.9%-82.2% (x86) শক্তি হ্রাসের কথা জানানো হয়েছে। - একটি 100B BitNet b1.58 মডেল একক CPU-তে চালানোর ক্ষমতা, যার গতি মানুষের পড়ার গতির সমতুল্য (প্রতি সেকেন্ডে 5-7 টোকেন)। - মে ২০২৫-এ অফিসিয়াল GPU ইনফারেন্স কার্নেল প্রকাশিত হয়েছে। - I2_S এবং TL1 সহ কোয়ান্টাইজেশন টাইপ; কার্নেল সাপোর্ট মডেল এবং আর্কিটেকচার (x86 বনাম ARM) অনুযায়ী পরিবর্তিত হয়। - হেল্পার স্ক্রিপ্টের মাধ্যমে .safetensors চেকপয়েন্ট থেকে GGUF-এ মডেল রূপান্তর। - বেঞ্চমার্কিং ইউটিলিটি (e2e_benchmark.py) এবং অসমর্থিত লেআউটের জন্য ডামি-মডেল জেনারেটর। - ইনস্ট্রাক্ট মডেলের জন্য চ্যাট/কনভারসেশন মোড। হাইলাইট করা অফিসিয়াল মডেলগুলোর মধ্যে রয়েছে BitNet-b1.58-2B-4T (2.4B প্যারামিটার, 4T টোকেনে প্রশিক্ষিত), BitNet-embedding-0.6B এবং BitNet-embedding-270M। সাপোর্টেড কমিউনিটি মডেল হিসেবে bitnet_b1_58-large, bitnet_b1_58-3B, Llama3-8B-1.58-100B-tokens এবং Falcon3 ও Falcon-E ফ্যামিলির কথা উল্লেখ করা হয়েছে। ইনস্টলেশনের জন্য Python 3.10+, CMake 3.22+ এবং Clang 18+ প্রয়োজন, এবং conda ব্যবহারের পরামর্শ দেওয়া হয়। বিল্ড ধাপে রিপোজিটরি রিকার্সিভলি ক্লোন করা, Python ডিপেন্ডেন্সি ইনস্টল করা, একটি মডেল ডাউনলোড করা এবং নির্বাচিত কোয়ান্টাইজেশন টাইপ দিয়ে setup_env.py চালানো জড়িত। ইনফারেন্স run_inference.py-এর মাধ্যমে চালানো হয়, যেখানে প্রম্পট, টোকেন সংখ্যা, থ্রেড, কনটেক্সট সাইজ, টেম্পারেচার এবং কনভারসেশন মোডের অপশন থাকে। README-তে সাধারণ বিল্ড সমস্যা নিয়ে একটি FAQ-ও রয়েছে, যেমন llama.cpp-তে std::chrono ত্রুটি এবং Windows-এ conda পরিবেশে clang কনফিগার করা। প্রজেক্টটি MIT লাইসেন্সের অধীনে প্রকাশিত।