annotated_deep_learning_paper_implementations

labml.aiは60以上の文書化されたPyTorch実装を提供しており、各実装にはWebサイトで並べて表示される解説ノートが添えられています。このプロジェクトは、明確に注釈付きのコードを通じて、これらのアルゴリズムの動作を学習者が理解できるようにすることを目指しています。 リポジトリは以下の幅広いトピックをカバーしています： - **Transformer**: 本来のTransformer、Transformer XL、Switch Transformer、Feedback Transformer、ViT、FNet、ALiBi、Rotary Positional Embeddings、MLP-Mixer、gMLPなど。 - **拡散モデル**: DDPM、DDIM、Latent Diffusion、Stable Diffusionの実装。 - **生成敵対ネットワーク**: 本来のGAN、DCGAN、CycleGAN、Wasserstein GAN、StyleGAN2。 - **強化学習**: GAE付きProximal Policy Optimization（PPO）、Dueling Networks、Prioritized Replay、Double Q付きDeep Q-Networks（DQN）。 - **オプティマイザ**: Adam、AMSGrad、AdaBelief、Sophia-G、Rectified Adam、Noamなど。 - **アーキテクチャ**: ResNet、Capsule Networks、LSTM、Recurrent Highway Networks、U-Net、Graph Neural Networks（GAT、GATv2）、HyperNetworks。 - **正規化**: Batch Norm、Layer Norm、Instance Norm、Group Norm、Weight Standardization、DeepNorm。 - **その他のトピック**: ナレッジディストillation、適応的計算（PonderNet）、不確実性定量化、言語モデルのサンプリング手法（greedy、temperature、top-k、nucleus）、Zero3メモリ最適化によるスケーラブルなトレーニング。 インストール: `pip install labml-nn` nn.labml.aiの関連ウェブサイトは、実装をフォーマットされた教育的ノートとしてレンダリングします。