প্রকল্প সম্পর্কে

Soup একটি কমান্ড-লাইন অ্যাপ্লিকেশন যা বড় ভাষা মডেল (LLM) এর ফাইন-টিউনিং এবং পোস্ট-ট্রেনিং সহজ করার জন্য ডিজাইন করা হয়েছে। এটি ইনফ্রাস্ট্রাকচার সেটআপের জটিলতা দূর করার লক্ষ্য রাখে, ব্যবহারকারীদের একটি একক YAML কনফিগারেশন ফাইল এবং একটি কমান্ড দিয়ে মডেল ট্রেন করার সুযোগ দেয়। একটি মূল বৈশিষ্ট্য হল লেয়ার স্ট্রিমিং, যা হোস্ট RAM থেকে ফ্রোজেন বেস মডেলকে একবারে একটি ডিকোডার লেয়ার স্ট্রিম করে 4 GB ল্যাপটপ GPU-তে একটি 8B মডেল ফাইন-টিউন করা সম্ভব করে, কম VRAM ব্যবহারে উচ্চ থ্রুপুট অর্জন করে। টুলটি বিভিন্ন ট্রেনিং টাস্ক (SFT, DPO, GRPO, PPO, KTO, ORPO, SimPO, IPO, BCO, ইত্যাদি), একাধিক ব্যাকএন্ড (transformers, MLX, Unsloth), এবং HuggingFace Hub থেকে বিস্তৃত মডেল সমর্থন করে। এতে পরীক্ষা ব্যবস্থাপনা, ডেটা টুল, মূল্যায়ন, সার্ভিং এবং এক্সপোর্ট ক্ষমতার জন্য একটি ওয়েব UI রয়েছে। প্রকল্পটি Apache-2.0 এর অধীনে ওপেন-সোর্স এবং দাবির চেয়ে পরিমাপকৃত পারফরম্যান্সের উপর জোর দেয়, কমিউনিটি অবদান এবং হার্ডওয়্যার-গেটেড ডেভেলপমেন্টে মনোযোগ দেয়।