প্রকল্প সম্পর্কে

labml.ai ডিপ লার্নিং পেপার ও অ্যালগরিদমের ৬০টিরও বেশি দলিলসহ PyTorch ইমপ্লিমেন্টেশন প্রদান করে, প্রতিটিতেই তাদের ওয়েবসাইটে পাশাপাশি ব্যাখ্যামূলক নোট রয়েছে। এই প্রকল্পের লক্ষ্য হলো পরিষ্কার, টিকাযুক্ত কোডের মাধ্যমে শিক্ষার্থীদের বুঝতে সাহায্য করা যে কীভাবে এই অ্যালগরিদম কাজ করে। রেপোজিটরিটি নানা বিষয়কালমা আবৃত করে: - **ট্রান্সফরমার**: মূল ট্রান্সফরমার, Transformer XL, Switch Transformer, Feedback Transformer, ViT, FNet, ALiBi, Rotary Positional Embeddings, MLP-Mixer, gMLP ইত্যাদি। - **ডিফিউশন মডেল**: DDPM, DDIM, Latent Diffusion, এবং Stable Diffusion ইমপ্লিমেন্টেশন। - **Generative Adversarial Networks**: মূল GAN, DCGAN, CycleGAN, Wasserstein GAN, StyleGAN2। - **রিইনফোর্সমেন্ট লার্নিং**: GAE সহ Proximal Policy Optimization (PPO), Dueling Networks, Prioritized Replay, এবং Double Q সহ Deep Q-Networks (DQN)। - **অপ্টিমাইজার**: Adam, AMSGrad, AdaBelief, Sophia-G, Rectified Adam, Noam ইত্যাদি। - **আর্কিটেকচার**: ResNet, Capsule Networks, LSTM, Recurrent Highway Networks, U-Net, Graph Neural Networks (GAT, GATv2), HyperNetworks। - **নর্মালাইজেশন**: Batch Norm, Layer Norm, Instance Norm, Group Norm, Weight Standardization, DeepNorm। - **অন্যান্য বিষয়**: Knowledge distillation, adaptive computation (PonderNet), uncertainty quantification, ভাষা মডেল স্যাম্পলিং কৌশল (greedy, temperature, top-k, nucleus), এবং Zero3 মেমোরি অপ্টিমাইজেশন সহ স্কেলেবল ট্রেইনিং। ইনস্টলেশন: `pip install labml-nn` nn.labml.ai ওয়েবসাইটে ইমপ্লিমেন্টেশনগুলোকে ফরম্যাটযুক্ত শিক্ষণীয় নোট হিসেবে প্রদর্শন করা হয়।