llm-course

Курс LLM — это открытый образовательный ресурс Максима Лабонна, охватывающий весь спектр знаний о больших языковых моделях: от фундаментальной теории до практической инженерии. ## Структура Курс разделён на три основные части: 1. **Основы LLM** — необязательный фоновый материал: математика для машинного обучения (линейная алгебра, математический анализ, теория вероятностей), библиотеки Python для data science, основы нейронных сетей и базовые понятия обработки естественного языка, включая токенизацию, эмбеддинги и RNN. 2. **Учёный LLM** — фокус на создании LLM с использованием современных техник: архитектура Transformer, токенизация, механизмы внимания, стратегии сэмплирования, распределённое предобучение, датасеты для постобучения, supervised fine-tuning, alignment предпочтений (DPO/ORPO) и оценка моделей. 3. **Инженер LLM** — фокус на создании и развёртывании приложений на основе LLM: локальное развёртывание с помощью Ollama и text-generation-webui, RAG-пайплайны, AI-агенты и production-мониторинг. ## Colab-ноутбуки Репозиторий содержит множество интерактивных Google Colab-ноутбуков, организованных по темам: **Инструменты**: LLM AutoEval, LazyMergekit (слияние моделей), LazyAxolotl (облачное дообучение), AutoQuant (квантование в форматах GGUF/GPTQ/EXL2/AWQ/HQQ), визуализация Model Family Tree, ZeroSpace (бесплатное развёртывание на Gradio), AutoAbliteration и AutoDedup. **Дообучение**: заметки по дообучению Llama 3.1 с помощью Unsloth, Llama 3 с ORPO, Mistral-7b с DPO и QLoRA, а также CodeLlama с Axolotl. **Квантование**: руководства по 8-битному квантованию, GPTQ 4-bit, GGUF с llama.cpp и ExLlamaV2. **Прочее**: слияние моделей с MergeKit, создание MoE, абллитерация, аугментация графа знаний для ChatGPT и стратегии декодирования. ## Связанные ресурсы - Companion book *LLM Engineer's Handbook* расширяет материал курса, охватывая end-to-end приложения. - DeepWiki-версия предоставляет более подробный нарративный формат. - Автор ведёт дополнительные репозитории: [llm-datasets](https://github.com/mlabonne/llm-datasets) для данных постобучения и [awesome-llm-training](https://github.com/mlabonne/awesome-llm-training) для ресурсов по обучению.