عن المشروع

يوفر labml.ai أكثر من 60 تنفيذًا موثقًا بلغة PyTorch لورقات وألgoritms التعلم العميق، كل منها مصحوب بملاحظات توضيحية جنبًا إلى جنب مُعرضة على موقعهم. يهدف المشروع إلى مساعدة المتعلمين على فهم كيفية عمل هذه الخوارزميات من خلال شيفرة واضحة ومعلّقة. تغطي المستودع مجموعة واسعة من الموضوعات: - **المحولات (Transformers)**: المحول الأصلي، Transformer XL، Switch Transformer، Feedback Transformer، ViT، FNet، ALiBi، التضمينات الموضعية الدائرية (Rotary)، MLP-Mixer، gMLP، والمزيد. - **نماذج الانتشار (Diffusion Models)**: DDPM، DDIM، الانتشار الكامن (Latent Diffusion)، وStable Diffusion. - **الشبكات الخصومة التوليدية (GANs)**: GAN الأصلي، DCGAN، CycleGAN، Wasserstein GAN، StyleGAN2. - **التعلم التعزيزي**: تحسين السياسة المقارب (PPO) مع GAE، شبكات Q العميقة (DQN) مع الشبكات المتصارعة، الاسترجاع ذات الأولوية، وDouble Q. - **المحسنات (Optimizers)**: Adam، AMSGrad，AdaBelief، Sophia-G，Rectified Adam，Noam，وغيرها. - **الهندسات المعمارية**: ResNet，Capsule Networks، LSTM، الشبكات السريعةية التكرارية، U-Net، شبكات Graph Neural Networks (GAT، GATv2)، HyperNetworks. - **التطبيع**: Batch Norm، Layer Norm، Instance Norm، Group Norm，Weight Standardization، DeepNorm. - **مواضيع أخرى**:蒸馏 المعرفة، الحساب التكيفي (PonderNet)، قياس عدم اليقين，تقنيات أخذ العينات للنماذج اللغوية (الجمعية، درجة الحرارة，top-k، nucleus)، والتدريب القابل للتوسع مع تحسينات الذاكرة Zero3. التثبيت: `pip install labml-nn` الموقع المرتبط nn.labml.ai يعرض التنفيذات كملاحظات تعليمية منسّقة.