peft — PEFT — это библиотека, предоставляющая современные методы эффективной настройки параметров для адаптации больших предобученных моделей с минимальными вычислительными затратами и затратами на хранение.

PEFT — это библиотека, предоставляющая современные методы эффективной настройки параметров для адаптации больших предобученных моделей с минимальными вычислительными затратами и затратами на хранение.

Об этом проекте

PEFT (Parameter-Efficient Fine-Tuning) позволяет адаптировать большие предобученные модели к прикладным задачам путем тонкой настройки лишь небольшого подмножества параметров модели вместо всей сети. Этот подход значительно снижает требования к памяти GPU и объему хранилища для контрольных точек. Ключевые возможности включают: - Реализацию различных методов PEFT, таких как LoRA, Soft prompts и IA3. - Интеграцию с экосистемой Hugging Face, включая Transformers для обучения/вывода, Diffusers для управления адаптерами и Accelerate для распределенных вычислений. - Поддержку квантования (например, QLoRA) для дальнейшего сокращения объема памяти, что позволяет обучать большие модели на оборудовании потребительского класса. - Возможность сохранения и загрузки легковесных адаптеров (зачастую объемом всего несколько МБ) вместо полных весов модели. - Совместимость с TRL для рабочих процессов RLHF (Reinforcement Learning from Human Feedback), включая Direct Preference Optimization (DPO).