Sobre el proyecto

labml.ai ofrece más de 60 implementaciones documentadas en PyTorch de artículos y algoritmos de aprendizaje profundo, cada una acompañada de notas explicativas paralelas presentadas en su sitio web. El objetivo del proyecto es ayudar a los estudiantes a comprender cómo funcionan estos algoritmos mediante un código claro y anotado. El repositorio abarca una amplia gama de temas: - **Transformers**: Transformer original, Transformer XL, Switch Transformer, Feedback Transformer, ViT, FNet, ALiBi, Rotary Positional Embeddings, MLP-Mixer, gMLP, y más. - **Modelos de difusión**: Implementaciones de DDPM, DDIM, Latent Diffusion y Stable Diffusion. - **Redes Adversariales Generativas**: GAN original, DCGAN, CycleGAN, Wasserstein GAN, StyleGAN2. - **Aprendizaje por refuerzo**: Optimización de política proximal (PPO) con GAE, Redes Q Profundas (DQN) con Redes Dueling, Replay Prioritizado y Double Q. - **Optimizadores**: Adam, AMSGrad, AdaBelief, Sophia-G, Rectified Adam, Noam y otros. - **Arquitecturas**: ResNet, Redes de Cápsulas, LSTM, Redes de Autopista Recurrente, U-Net, Redes Neuronales de Grafos (GAT, GATv2), HyperNetworks. - **Normalización**: Batch Norm, Layer Norm, Instance Norm, Group Norm, Weight Standardization, DeepNorm. - **Otros temas**: Distilación de conocimiento, cómputo adaptativo (PonderNet), cuantificación de incertidumbre, técnicas de muestreo de modelos de lenguaje (codicioso, temperatura, top-k, núcleo) y entrenamiento escalable con optimizaciones de memoria Zero3. Instalación: `pip install labml-nn` El sitio web asociado en nn.labml.ai muestra las implementaciones como notas educativas formateadas.