প্রকল্প সম্পর্কে

MiniMind একটি সম্পূর্ণ লাইটওয়েট লার্জ ল্যাঙ্গুয়েজ মডেল ট্রেনিং চেইন প্রদান করে, যার লক্ষ্য হলো ব্যক্তিগত ডেভেলপারদের LLM-এর সম্পূর্ণ প্রক্রিয়া দ্রুত পুনরুৎপাদন করতে সক্ষম করা। প্রজেক্টের মূল অ্যালগরিদম PyTorch-এর নেটিভ ইমপ্লিমেন্টেশন ব্যবহার করে তৈরি করা হয়েছে, যা উচ্চ-স্তরের অ্যাবস্ট্রাকশন ইন্টারফেসের ওপর নির্ভর করে না, ফলে এটি শিক্ষামূলক এবং ব্যবহারিক দিক থেকে অত্যন্ত তাৎপর্যপূর্ণ। প্রধান ক্ষমতা এবং বৈশিষ্ট্যসমূহ: ১. সম্পূর্ণ ট্রেনিং চেইন: এটি ডেটা ক্লিনিং, প্রি-ট্রেনিং (Pretrain), সুপারভাইজড ফাইন-টিউনিং (SFT), LoRA, RLHF (DPO) থেকে শুরু করে RLAIF (PPO/GRPO/CISPO) পর্যন্ত পুরো প্রক্রিয়াটি কভার করে। ২. মডেল স্ট্রাকচার: এর মূল স্ট্রাকচার Qwen3 ইকোসিস্টেমের সাথে সামঞ্জস্যপূর্ণ এবং এটি Dense এবং MoE উভয় আর্কিটেকচার সমর্থন করে। এতে ৬৪M (Dense) এবং ১৯৮M (MoE)-এর মতো বিভিন্ন আকারের মডেল সংস্করণ উপলব্ধ। ৩. ফাংশনাল এক্সটেনশন: এটি Tool Use (টুল কলিং), Agentic RL, অ্যাডাপ্টিভ থিংকিং (Reasoning) এবং মডেল ডিস্টিলেশন সমর্থন করে। পাশাপাশি ভিশন (MiniMind-V) এবং মাল্টি-মোডাল (MiniMind-O) মডেলের সম্প্রসারণ করা হয়েছে। ৪. ইকোসিস্টেম সামঞ্জস্যতা: এটি transformers, trl, peft-এর মতো মূল ফ্রেমওয়ার্কগুলোর সাথে সামঞ্জস্যপূর্ণ এবং llama.cpp, vllm, ollama-এর মতো ইনফারেন্স ইঞ্জিন সমর্থন করে। ৫. ব্যবহারিক টুলস: এটি OpenAI API সামঞ্জস্যপূর্ণ সার্ভার এবং Streamlit-ভিত্তিক WebUI চ্যাট ইন্টারফেস প্রদান করে। ৬. ডেটাসেট: প্রি-ট্রেনিং, SFT এবং RL ধাপগুলোর জন্য উচ্চমানের ডেটাসেট ওপেন সোর্স করা হয়েছে।