À propos du projet

labml.ai propose plus de 60 implémentations PyTorch documentées de papiers et algorithmes de deep learning, chacune accompagnée de notes explicatives côte à côte affichées sur leur site web. Le projet vise à aider les apprenants à comprendre le fonctionnement de ces algorithmes grâce à du code clair et annoté. Le dépôt couvre un large éventail de sujets : - **Transformers** : Transformer original, Transformer XL, Switch Transformer, Feedback Transformer, ViT, FNet, ALiBi, Embeddings positionnels Rotary, MLP-Mixer, gMLP, et plus encore. - **Modèles de diffusion** : DDPM, DDIM, Latent Diffusion et Stable Diffusion. - **Réseaux antagonistes génératifs (GAN)** : GAN original, DCGAN, CycleGAN, Wasserstein GAN, StyleGAN2. - **Apprentissage par renforcement** : Proximal Policy Optimization (PPO) avec GAE, Deep Q-Networks (DQN) avec Dueling Networks, Prioritized Replay et Double Q. - **Optimiseurs** : Adam, AMSGrad, AdaBelief, Sophia-G, Rectified Adam, Noam, et d'autres. - **Architectures** : ResNet, Capsule Networks, LSTM, Recurrent Highway Networks, U-Net, Graph Neural Networks (GAT, GATv2), HyperNetworks. - **Normalisation** : Batch Norm, Layer Norm, Instance Norm, Group Norm, Weight Standardization, DeepNorm. - **Autres sujets** : Distillation de connaissances, calcul adaptatif (PonderNet), quantification de l'incertitude, techniques d'échantillonnage de modèles linguistiques (glouton, température, top-k, nucleus), et entraînement-scalable avec optimisations mémoire Zero3. Installation : `pip install labml-nn` Le site web associé à nn.labml.ai affiche les implémentations sous forme de notes éducatives formatées.