llm-course

O Curso de LLM é um recurso educacional aberto criado por Maxime Labonne que cobre todo o espectro do conhecimento sobre Modelos de Linguagem de Grande Escala, desde a teoria fundamental até a engenharia prática. ## Estrutura O curso está dividido em três partes principais: 1. **Fundamentos de LLM** — Conteúdo opcional de background que cobre matemática para machine learning (álgebra linear, cálculo, probabilidade), bibliotecas Python para data science, fundamentos de redes neurais e noções básicas de processamento de linguagem natural, incluindo tokenização, embeddings e RNNs. 2. **O Cientista de LLM** — Foca na construção de LLMs usando técnicas modernas, abrangendo arquitetura Transformer, tokenização, mecanismos de atenção, estratégias de amostragem, pré-treinamento distribuído, conjuntos de dados pós-treinamento, fine-tuning supervisionado, alinhamento de preferências (DPO/ORPO) e avaliação. 3. **O Engenheiro de LLM** — Foca na criação e implantação de aplicações baseadas em LLM, cobrindo implantação local de modelos com Ollama e text-generation-webui, pipelines RAG, agentes de IA e monitoramento em produção. ## Notebooks Colab O repositório inclui numerosos notebooks interativos do Google Colab organizados por tópico: **Ferramentas**: LLM AutoEval, LazyMergekit (fusion de modelos), LazyAxolotl (fine-tuning em nuvem), AutoQuant (quantização em GGUF/GPTQ/EXL2/AWQ/HQQ), visualização da árvore genealógica de modelos, ZeroSpace (implantação gratuita no Gradio), AutoAbliteration e AutoDedup. **Fine-tuning**: Notas para fine-tuning do Llama 3.1 com Unsloth, Llama 3 com ORPO, Mistral-7b com DPO e QLoRA, e CodeLlama com Axolotl. **Quantização**: Guias para quantização em 8-bit, quantização GPTQ 4-bit, GGUF com llama.cpp e ExLlamaV2. **Outros**: Fusão de modelos com MergeKit, criação de MoEs, abliteration, aumento com knowledge graph para ChatGPT e estratégias de decoding. ## Recursos Relacionados - Um livro companheiro, *LLM Engineer's Handbook*, expande o material do curso com cobertura ponta a ponta de aplicações. - Uma versão DeepWiki oferece um formato narrativo mais abrangente. - O autor mantém repositórios adicionais, incluindo [llm-datasets](https://github.com/mlabonne/llm-datasets) para dados de pós-treinamento e [awesome-llm-training](https://github.com/mlabonne/awesome-llm-training) para recursos de treinamento.