llm-course

LLMコースはMaxime Labonneによるオープン教育リソースで、基礎理論から実践的エンジニアリングまで大規模言語モデルの知識の全範囲をカバーしています。 ## 構成 コースは3つの主要パートに分かれています： 1. **LLMの基礎** — 機械学習の数学（線形代数、微積分、確率）、Pythonデータサイエンスライブラリ、ニューラルネットワークの基礎、トークン化、埋め込み、RNNを含む自然言語処理の基礎など、補足的な背景をカバーします。 2. **LLMサイエンティスト** — Transformerアーキテクチャ、トークン化、アテンションメカニズム、サンプリング戦略、分散事前トレーニング、ポストトレーニングデータセット、教師ありファインチューニング、好みに基づく適応（DPO/ORPO）、評価など、現代的な手法を用いたLLM構築に焦点を当てます。 3. **LLMエンジニア** — Ollamaやtext-generation-webuiを用いたローカルモデルデプロイメント、RAGパイプライン、AIエージェント、本番環境モニタリングなど、LLMベースアプリケーションの作成とデプロイに焦点を当てます。 ## Colabノートブック リポジトリにはトピック別に整理された多数のインタラクティブなGoogle Colabノートブックが含まれています： **ツール**: LLM AutoEval、LazyMergekit（モデルマージ）、LazyAxolotl（クラウドファインチューニング）、AutoQuant（GGUF/GPTQ/EXL2/AWQ/HQQでの量子化）、Model Family Tree可視化、ZeroSpace（無料Gradioデプロイメント）、AutoAbliteration、AutoDedup。 **ファインチューニング**: UnslothによるLlama 3.1、ORPOによるLlama 3、DPOとQLoRAによるMistral-7b、AxolotlによるCodeLlamaのファインチューニングノート。 **量子化**: 8ビット量子化、GPTQ 4ビット量子化、llama.cppを用いたGGUF、ExLlamaV2のガイド。 **その他**: MergeKitによるモデルマージ、MoEの作成、abliteration、ChatGPT向けのナレッジグラフ拡張、デコーディング戦略。 ## 関連リソース - コンパニオンブック『LLM Engineer's Handbook』は、エンドツーエンドアプリケーションカバレッジでコース素材を補足しています。 - DeepWiki版はより包括的なナラティブフォーマットを提供します。 - 著者はポストトレーニングデータの[llm-datasets](https://github.com/mlabonne/llm-datasets)やトレーニングリソースの[awesome-llm-training](https://github.com/mlabonne/awesome-llm-training)など、追加のリポジトリを管理しています。