peft — PEFT는 최소한의 계산 및 저장 비용으로 대규모 사전 학습 모델을 조정할 수 있는 최신 매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning) 방법을 제공하는 라이브러리입니다.

PEFT는 최소한의 계산 및 저장 비용으로 대규모 사전 학습 모델을 조정할 수 있는 최신 매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning) 방법을 제공하는 라이브러리입니다.

프로젝트 소개

PEFT(Parameter-Efficient Fine-Tuning)는 전체 네트워크가 아닌 모델 매개변수의 작은 일부만 미세 조정함으로써 대규모 사전 학습 모델을 다운스트림 작업에 적응시킬 수 있게 합니다. 이 접근 방식은 GPU 메모리 요구 사항과 체크포인트를 위한 저장 공간을 크게 줄여줍니다. 주요 기능은 다음과 같습니다: - LoRA, Soft prompts, IA3와 같은 다양한 PEFT 방법 구현. - 학습/추론을 위한 Transformers, 어댑터 관리를 위한 Diffusers, 분산 컴퓨팅을 위한 Accelerate를 포함한 Hugging Face 생태계와의 통합. - 메모리 사용량을 더욱 줄이기 위한 양자화(예: QLoRA) 지원을 통해 소비자 등급 하드웨어에서도 대규모 모델 학습 가능. - 전체 모델 가중치 대신 가벼운 어댑터(종종 몇 MB에 불과함)를 저장하고 로드하는 기능. - Direct Preference Optimization(DPO)를 포함하여 RLHF(Reinforcement Learning from Human Feedback) 워크플로우를 위한 TRL과의 호환성.