peft — PEFT é uma biblioteca que fornece métodos de Ajuste Fino Eficiente de Parâmetros de última geração para adaptar grandes modelos pré-treinados com custos mínimos de computação e armazenamento.

PEFT é uma biblioteca que fornece métodos de Ajuste Fino Eficiente de Parâmetros de última geração para adaptar grandes modelos pré-treinados com custos mínimos de computação e armazenamento.

Sobre o projeto

PEFT (Parameter-Efficient Fine-Tuning) permite a adaptação de grandes modelos pré-treinados para tarefas downstream ajustando apenas um pequeno subconjunto de parâmetros do modelo, em vez de toda a rede. Essa abordagem reduz significativamente os requisitos de memória da GPU e o espaço de armazenamento para checkpoints. As principais capacidades incluem: - Implementação de vários métodos PEFT, como LoRA, Soft prompts e IA3. - Integração com o ecossistema Hugging Face, incluindo Transformers para treinamento/inferência, Diffusers para gerenciamento de adaptadores e Accelerate para computação distribuída. - Suporte para quantização (ex: QLoRA) para reduzir ainda mais a pegada de memória, permitindo que grandes modelos sejam treinados em hardware de nível consumidor. - Capacidade de salvar e carregar adaptadores leves (muitas vezes apenas alguns MBs) em vez dos pesos completos do modelo. - Compatibilidade com TRL para fluxos de trabalho de RLHF (Reinforcement Learning from Human Feedback), incluindo Direct Preference Optimization (DPO).