প্রকল্প সম্পর্কে

LLM Course হলো Maxime Labonne-র তৈরি একটি খোলা শিক্ষণীয় সম্পদ যা মেশিন লার্নিং-এর গাণিতিক ভিত্তি (লাইনয়ার অ্যালজেবরা, ক্যালকুলাস, সম্ভাবনা), Python ডেটা সায়েন্স লাইব্রেরি, নিউরাল নেটওয়ার্ক, এবং NLP-এর মৌলিক বিষয় (টোkenaiz, এমবেডিং, RNN) থেকে শুরু করে Transformer আর্কিটেকচার, টোকেনাইজেশন, অ্যাটেনশন মেকানিজম, ডিস্ট্রিবিউটেড প্রি-ট্রেনিং, স্পারভাইজড ফাইন-ট্যুনিং, পছন্দসই alignment (DPO/ORPO) সহ পূর্ণ স্পেকট্রাম কভার করে। ## কাঠামো কোর্সটি তিনটি প্রধান অংশে বিভক্ত: 1. **LLM Fundamentals** — মেশিন লার্নিং-এর গাণিতিক ভিত্তি, Python লাইব্রেরি, নিউরাল নেটওয়ার্ক এবং NLP মৌলিক বিষয়। 2. **The LLM Scientist** — Transformer আর্কিটেকচার, টোকেনাইজেশন, অ্যাটেনশন মেকানিজম, ডিস্ট্রিবিউটেড প্রি-ট্রেনিং, স্পারভাইজড ফাইন-ট্যুনিং, DPO/ORPO preference alignment, এবং মূল্যায়ন। 3. **The LLM Engineer** — Ollama এবং text-generation-webui দিয়ে লোকাল ডিপ্লয়মেন্ট, RAG পাইপলাইন, AI এজেন্ট, এবং প্রোডাকশন মনিটরিং। ## Colab Notebooks রিপোজিটরিতে থিম বিষয়ভিত্তিক ইন্টারেক্টিভ Google Colab নোটবুক রয়েছে: **টুলস**: LLM AutoEval, LazyMergekit (মডেল মার্জিং), LazyAxolotl (ক্লাউড ফাইন-ট্যুনিং), AutoQuant (GGUF/GPTQ/EXL2/AWQ/HQQ কোয়ান্টাইজেশন), মডেল ফ্যামিলি ট্রি ভিজুয়ালাইজেশন, ZeroSpace (ফ্রি Gradio ডিপ্লয়মেন্ট), AutoAbliteration, এবং AutoDedup。 **ফাইন-ট্যুনিং**: Unsloth দিয়ে Llama 3.1, ORPO দিয়ে Llama 3, DPO এবং QLoRA দিয়ে Mistral-7b, এবং Axolotl দিয়ে CodeLlama. **কোয়ান্টাইজেশন**: 8-বিট, GPTQ 4-বিট, GGUF llama.cpp, ExLlamaV2. **অন্যান্য**: MergeKit দিয়ে মডেল মার্জিং, MoE তৈরি, abliteration, knowledge graph augmentation, এবং ডিকোডিং স্ট্র্যাটেজি। ## সম্পর্কিত সম্পদ - *LLM Engineer's Handbook* বই - DeepWiki ভার্সন - llm-datasets রিপো - awesome-llm-training রিপো