peft — PEFT es una biblioteca que proporciona métodos de ajuste fino eficientes en parámetros para adaptar grandes modelos preentrenados con costos mínimos de almacenamiento y computación.

PEFT es una biblioteca que proporciona métodos de ajuste fino eficientes en parámetros para adaptar grandes modelos preentrenados con costos mínimos de almacenamiento y computación.

Sobre el proyecto

PEFT (Parameter-Efficient Fine-Tuning) permite la adaptación de grandes modelos preentrenados a tareas downstream mediante el ajuste fino de solo un pequeño subconjunto de parámetros del modelo en lugar de toda la red. Este enfoque reduce significativamente los requisitos de memoria de la GPU y el espacio de almacenamiento para los checkpoints. Las capacidades clave incluyen: - Implementación de varios métodos de PEFT como LoRA, Soft prompts e IA3. - Integración con el ecosistema de Hugging Face, incluyendo Transformers para entrenamiento/inferencia, Diffusers para la gestión de adaptadores y Accelerate para computación distribuida. - Soporte para cuantización (por ejemplo, QLoRA) para reducir aún más la huella de memoria, permitiendo que modelos grandes sean entrenados en hardware de grado consumidor. - Capacidad para guardar y cargar adaptadores ligeros (a menudo de solo unos pocos MB) en lugar de los pesos completos del modelo. - Compatibilidad con TRL para flujos de trabajo de RLHF (Reinforcement Learning from Human Feedback), incluyendo Direct Preference Optimization (DPO).