peft — PEFT est une bibliothèque fournissant des méthodes de réglage fin efficace des paramètres (Parameter-Efficient Fine-Tuning) pour adapter les grands modèles pré-entraînés avec des coûts de calcul et de stockage minimaux.

PEFT est une bibliothèque fournissant des méthodes de réglage fin efficace des paramètres (Parameter-Efficient Fine-Tuning) pour adapter les grands modèles pré-entraînés avec des coûts de calcul et de stockage minimaux.

À propos du projet

PEFT (Parameter-Efficient Fine-Tuning) permet l'adaptation de grands modèles pré-entraînés à des tâches en aval en affinant seulement un petit sous-ensemble de paramètres du modèle plutôt que l'ensemble du réseau. Cette approche réduit considérablement les exigences de mémoire GPU et l'espace de stockage pour les points de contrôle. Les capacités clés incluent : - L'implémentation de diverses méthodes PEFT telles que LoRA, Soft prompts et IA3. - L'intégration avec l'écosystème Hugging Face, notamment Transformers pour l'entraînement/l'inférence, Diffusers pour la gestion des adaptateurs et Accelerate pour le calcul distribué. - La prise en charge de la quantification (par exemple, QLoRA) pour réduire davantage l'empreinte mémoire, permettant l'entraînement de grands modèles sur du matériel grand public. - La capacité de sauvegarder et de charger des adaptateurs légers (souvent seulement quelques Mo) au lieu des poids complets du modèle. - La compatibilité avec TRL pour les flux de travail RLHF (Reinforcement Learning from Human Feedback), y compris l'Optimisation Directe des Préférences (DPO).