annotated_deep_learning_paper_implementations

labml.ai는 딥러닝 논문과 알고리즘의 60개 이상의 문서화된 PyTorch 구현을 제공하며, 각 구현은 웹사이트에서 나란히 렌더링되는 설명 노트를 갖추고 있습니다. 이 프로젝트는 명확하고 주석이 달린 코드를 통해 학습자가 이러한 알고리즘이 어떻게 작동하는지 이해하는 데 도움이 되는 것을 목표로 합니다. 저장소는 다양한 주제를 다루고 있습니다: - **트랜스포머**: 원본 트랜스포머, Transformer XL, Switch Transformer, Feedback Transformer, ViT, FNet, ALiBi, Rotary Positional Embeddings, MLP-Mixer, gMLP 등 - **디퓨전 모델**: DDPM, DDIM, Latent Diffusion, Stable Diffusion 구현 - **생성적 적대 신경망**: 원본 GAN, DCGAN, CycleGAN, Wasserstein GAN, StyleGAN2 - **강화학습**: GAE가 포함된 Proximal Policy Optimization (PPO), Dueling Networks, Prioritized Replay, Double Q가 포함된 Deep Q-Networks (DQN) - **옵티마이저**: Adam, AMSGrad, AdaBelief, Sophia-G, Rectified Adam, Noam 등 - **아키텍처**: ResNet, Capsule Networks, LSTM, Recurrent Highway Networks, U-Net, Graph Neural Networks (GAT, GATv2), HyperNetworks - **정규화**: Batch Norm, Layer Norm, Instance Norm, Group Norm, Weight Standardization, DeepNorm - **기타 주제**: 지식 증류, 적응형 계산 (PonderNet), 불확실성 정량화, 언어 모델 샘플링 기법 (greedy, temperature, top-k, nucleus), Zero3 메모리 최적화를 통한 확장 가능한 학습 설치: `pip install labml-nn` nn.labml.ai에 있는 관련 웹사이트는 구현을 서식 지정된 교육 노트로 렌더링합니다.