pytorch-lightning

PyTorch Lightning est un framework d'apprentissage profond conçu pour pré-entraîner et affiner des modèles d'IA de toute taille, évoluant d'un seul CPU à des milliers de GPU avec un minimum de modifications de code. Il organise le code PyTorch pour séparer la logique scientifique du modèle de l'infrastructure d'ingénierie, automatisant la rétropropagation, la précision mixte, le multi-GPU et l'entraînement distribué. Le projet propose deux packages principaux : PyTorch Lightning, qui fournit une abstraction de haut niveau avec Trainer et LightningModule, et Lightning Fabric, qui offre un contrôle de niveau expert sur la boucle d'entraînement et la stratégie de mise à l'échelle pour des modèles complexes comme les LLM, les modèles de diffusion et les transformeurs. Les utilisateurs peuvent choisir le niveau d'abstraction dont ils ont besoin. Les fonctionnalités clés incluent l'entraînement indépendant du matériel sur CPU, GPU, TPU et configurations multi-nœuds ; la prise en charge de stratégies distribuées telles que DDP, FSDP et DeepSpeed ; la précision mixte ; les intégrations de journalisation d'expériences ; l'arrêt précoce ; la sauvegarde de points de contrôle ; et l'export vers TorchScript ou ONNX. Le README note un surcoût de vitesse d'exécution minimal par rapport à PyTorch pur. L'installation se fait via pip ou conda. Le dépôt comprend de nombreux exemples couvrant la classification d'images, la segmentation, la détection d'objets, la classification de texte, la synthèse, la génération audio, l'affinage de LLM, la génération d'images, les systèmes de recommandation et la prévision de séries temporelles. Il est sous licence Apache 2.0 et est rigoureusement testé sur différentes versions de Python et PyTorch, systèmes d'exploitation et accélérateurs matériels.