Sobre o projeto

O labml.ai fornece mais de 60 implementações documentadas em PyTorch de artigos e algoritmos de deep learning, cada uma acompanhada de notas explicativas lado a lado renderizadas em seu site. O projeto visa ajudar os aprendizes a entender como esses algoritmos funcionam por meio de código claro e anotado. O repositório abrange uma ampla variedade de tópicos: - **Transformers**: Transformer original, Transformer XL, Switch Transformer, Feedback Transformer, ViT, FNet, ALiBi, Rotary Positional Embeddings, MLP-Mixer, gMLP, entre outros. - **Modelos de Difusão**: DDPM, DDIM, Latent Diffusion e Stable Diffusion. - **Redes Generativas Adversariais**: GAN original, DCGAN, CycleGAN, Wasserstein GAN, StyleGAN2. - **Aprendizado por Reforço**: Proximal Policy Optimization (PPO) com GAE, Deep Q-Networks (DQN) com Dueling Networks, Prioritized Replay e Double Q. - **Otimizadores**: Adam, AMSGrad, AdaBelief, Sophia-G, Rectified Adam, Noam, entre outros. - **Arquiteturas**: ResNet, Capsule Networks, LSTM, Recurrent Highway Networks, U-Net, Graph Neural Networks (GAT, GATv2), HyperNetworks. - **Normalização**: Batch Norm, Layer Norm, Instance Norm, Group Norm, Weight Standardization, DeepNorm. - **Outros tópicos**: Distilação de conhecimento, computação adaptativa (PonderNet), quantificação de incerteza, técnicas de amostragem de modelos de linguagem (gulosa, temperatura, top-k, nucleus) e treinamento escalável com otimizações de memória Zero3. Instalação: `pip install labml-nn` O site associado em nn.labml.ai renderiza as implementações como notas educacionais formatadas.