llm-course

El Curso de LLM es un recurso educativo abierto creado por Maxime Labonne que cubre todo el espectro del conocimiento sobre Modelos de Lenguaje Grande, desde la teoría fundamental hasta la ingeniería práctica. ## Estructura El curso está dividido en tres partes principales: 1. **Fundamentos de LLM** — Contenido opcional de antecedentes que cubre matemáticas para aprendizaje automático (álgebra lineal, cálculo, probabilidad), bibliotecas de ciencia de datos en Python, fundamentos de redes neuronales y nociones básicas de procesamiento de lenguaje natural, incluyendo tokenización, embeddings y RNNs. 2. **El Científico de LLM** — Se enfoca en construir LLM utilizando técnicas modernas, cubriendo arquitectura Transformer, tokenización, mecanismos de atención, estrategias de muestreo, preentrenamiento distribuido, conjuntos de datos post-entrenamiento, ajuste fino supervisado, alineación de preferencias (DPO/ORPO) y evaluación. 3. **El Ingeniero de LLM** — Se enfoca en crear y desplegar aplicaciones basadas en LLM, cubriendo despliegue local de modelos con Ollama y text-generation-webui, pipelines RAG, agentes de IA y monitoreo en producción. ## Cuadernos de Colab El repositorio incluye numerosos cuadernos interactivos de Google Colab organizados por tema: **Herramientas**: LLM AutoEval, LazyMergekit (combinación de modelos), LazyAxolotl (fine-tuning en la nube), AutoQuant (cuantización en GGUF/GPTQ/EXL2/AWQ/HQQ), visualización del árbol genealógico de modelos, ZeroSpace (despliegue gratuito con Gradio), AutoAbliteration y AutoDedup. **Fine-tuning**: Notas para ajustar Llama 3.1 con Unsloth, Llama 3 con ORPO, Mistral-7b con DPO y QLoRA, y CodeLlama con Axolotl. **Cuantización**: Guías para cuantización de 8 bits, cuantización GPTQ de 4 bits, GGUF con llama.cpp y ExLlamaV2. **Otros**: Combinar modelos con MergeKit, crear MoEs, abliteration, aumento con grafos de conocimiento para ChatGPT y estrategias de decodificación. ## Recursos Relacionados - Un libro compañero, *LLM Engineer's Handbook*, amplía el material del curso con cobertura completa de aplicaciones de punta a punta. - Una versión DeepWiki proporciona un formato narrativo más completo. - El autor mantiene repositorios adicionales, incluyendo [llm-datasets](https://github.com/mlabonne/llm-datasets) para datos de post-entrenamiento y [awesome-llm-training](https://github.com/mlabonne/awesome-llm-training) para recursos de entrenamiento.