প্রকল্প সম্পর্কে

মেশিন লার্নিং ইঞ্জিনিয়ারিং ওপেন বুক হলো Stas Bekman-এর একটি ব্যবহারিক, অভিজ্ঞতাভিত্তিক রিপোজিটরি, যা বড় ভাষা মডেল (LLM) এবং ভিশন-ল্যাঙ্গুয়েজ মডেল (VLM) প্রশিক্ষণ ও পরিচালনার জন্য পদ্ধতি, টুল এবং কপি-পেস্ট কমান্ড নথিভুক্ত করে। বিষয়বস্তুটি Contextual.AI-তে BLOOM-176B, IDEFICS-80B এবং RAG সিস্টেম নিয়ে হাতে-কলমে কাজের অভিজ্ঞতা থেকে নেওয়া। রিপোজিটরিটি সাতটি অংশে সাজানো: AI ইঞ্জিনিয়ারিং এবং ক্লাউড/GPU সিদ্ধান্ত সম্পর্কিত অন্তর্দৃষ্টি; কম্পিউট, স্টোরেজ এবং নেটওয়ার্কিং নিয়ে হার্ডওয়্যার নির্দেশনা; SLURM সহ অর্কেস্ট্রেশন সিস্টেম; প্রশিক্ষণ ও ইনফারেন্স গাইড; ডিবাগিং, টেস্টিং এবং সমস্যা সমাধানের জন্য ডেভেলপমেন্ট রিসোর্স; এবং LLM/VLM প্রশিক্ষণ লগবুকের মতো বিবিধ রিসোর্স। ব্যবহারিক টুলগুলোর মধ্যে রয়েছে all_reduce_bench.py-এর মতো নেটওয়ার্ক বেঞ্চমার্ক স্ক্রিপ্ট, torch-distributed-gpu-test.py দিয়ে ইন্টার-নোড কানেক্টিভিটি টেস্টিং এবং mamf-finder.py-এর মাধ্যমে অ্যাক্সিলারেটর TFLOPS পরিমাপ। প্রকল্পটি অ্যাক্সিলারেটর পারফরম্যান্স ও নেটওয়ার্ক গতির তুলনামূলক টেবিল, AI এজেন্টদের শেখানোর জন্য একটি SKILL.md ফাইল এবং ডাউনলোডযোগ্য PDF/EPUB ইবুক সংস্করণও সরবরাহ করে। বিষয়বস্তুটি CC BY-SA 4.0-এর অধীনে লাইসেন্সকৃত এবং কমিউনিটির অবদান ও আলোচনাকে স্বাগত জানায়।