عن المشروع

TorchRL هي مكتبة PyTorch معيارية، تعتمد أولاً على العناصر الأولية وPython، للتعلم المعزز. وهي توفر وحدات بناء قابلة للتركيب لأنظمة RL بدلاً من تنفيذ خوارزمية واحدة، مع إبقاء الشيفرة قريبة من نموذج برمجة PyTorch. تنتظم المكتبة حول TensorDict، وهو حاوية تنسورات شبيهة بالقاموس تحافظ على الحقول المسماة والبنية وأبعاد الدفعة والأجهزة طوال حلقة التدريب. تشمل المكونات الرئيسية البيئات والتحويلات (مع أغلفة لـ Gymnasium وDM Control وBrax وPettingZoo وVMAS وIsaac Lab وغيرها)، والمُجمِّعات للتنفيذ أحادي العملية وغير المتزامن ومتعدد العمليات والموزع، ومخازن إعادة التشغيل مع تخزين مدعوم بالأولوية وmemmap، ووحدات السياسات بمفاتيح إدخال/إخراج صريحة، ووحدات الخسارة التي تغطي PPO وSAC وDQN وTD3 وREDQ وIQL وCQL وDecision Transformer وDreamer وMAPPO وIPPO وQMIX/VDN وغيرها. تدعم المكتبة أيضاً سير عمل متعدد الوكلاء، والقائم على النماذج، وتعلم التقليد، والتدريب اللاحق لـ LLM بما في ذلك أهداف GRPO وSFT. يضيف TorchRL 0.13 مسارات RL متكررة أسرع مع خلفيات Triton وscan، وبيئات MuJoCo مخصصة، وأدوات تطبيع القيمة متعددة الوكلاء، ومخازن إعادة تشغيل HER، وتحسينات في سهولة استخدام المُجمِّع ومخزن إعادة التشغيل. يتوفر التثبيت عبر PyPI مع إضافات اختيارية لـ Gymnasium وAtari وبيانات دون اتصال وبيئات متعددة الوكلاء وخلفيات LLM.