llm-course

LLM Course는 Maxime Labonne이 개발한 대형 언어 모델 지식을 기초 이론부터 실무 엔지니어링까지 폭넓게 다루는 오픈 교육 자료입니다. ## 구조 강좌는 세 부분으로 나뉩니다: 1. **LLM Fundamentals** — 머신러닝 수학(선형대수, 미적분, 확률), Python 데이터 사이언스 라이브러리, 신경망 기초, 토큰화·임베딩·RNN을 포함한 자연어 처리 기초를 다루는 선행 학습 자료입니다. 2. **The LLM Scientist** — Transformer 아키텍처, 토큰화, 어텐션 메커니즘, 샘플링 전략, 분산 사전 훈련, 사후 훈련 데이터셋, 감독 형식 미세 조정, 선호 정렬(DPO/ORPO), 평가 등 현대 기법으로 LLM을 구축하는 데 중점을 둡니다. 3. **The LLM Engineer** — Ollama와 text-generation-webui를 통한 로컬 모델 배포, RAG 파이프라인, AI 에이전트, 프로덕션 모니터링 등 LLM 기반 애플리케이션을 만들고 배포하는 데 중점을 둡니다. ## Colab 노트북 저장소에는 주제별로 정리된 수많은 인터랙티브 Google Colab 노트북이 포함되어 있습니다: **도구**: LLM AutoEval, LazyMergekit(모델 병합), LazyAxolotl(클라우드 미세 조정), AutoQuant(GGUF/GPTQ/EXL2/AWQ/HQQ 양자화), Model Family Tree 시각화, ZeroSpace(무료 Gradio 배포), AutoAbliteration, AutoDedup **미세 조정**: Unsloth로 Llama 3.1 미세 조정, ORPO로 Llama 3 미세 조정, DPO 및 QLoRA로 Mistral-7b 미세 조정, Axolotl로 CodeLlama 미세 조정 노트북 **양자화**: 8비트 양자화, GPTQ 4비트 양자화, llama.cpp를 통한 GGUF, ExLlamaV2 가이드 **기타**: MergeKit을 사용한 모델 병합, MoE 생성, abliteration, ChatGPT용 지식 그래프 증강, 디코딩 전략 ## 관련 자료 - *LLM Engineer's Handbook*이라는 동반 서적이 있으며, 강좌 내용을 확장하여 엔드투엔드 애플리케이션을 다룹니다. - DeepWiki 버전은 더 포괄적인 내러티브 형식을 제공합니다. - 저자는 사후 훈련 데이터를 다루는 [llm-datasets](https://github.com/mlabonne/llm-datasets)과 훈련 자료를 다루는 [awesome-llm-training](https://github.com/mlabonne/awesome-llm-training)를 비롯한 추가 저장소를 유지 관리하고 있습니다.