peft — PEFTは、計算コストとストレージコストを最小限に抑えて大規模な学習済みモデルを適応させるための、最先端のパラメータ効率的なファインチューニング手法を提供するライブラリです。

PEFTは、計算コストとストレージコストを最小限に抑えて大規模な学習済みモデルを適応させるための、最先端のパラメータ効率的なファインチューニング手法を提供するライブラリです。

このプロジェクトについて

PEFT (Parameter-Efficient Fine-Tuning) は、ネットワーク全体ではなくモデルパラメータの小さなサブセットのみをファインチューニングすることで、大規模な学習済みモデルをダウンストリームタスクに適応させることができます。このアプローチにより、GPUメモリ要件とチェックポイントのストレージスペースが大幅に削減されます。主な機能は以下の通りです： - LoRA、Soft prompts、IA3などの様々なPEFT手法の実装。 - Hugging Faceエコシステムとの統合（トレーニング/推論用のTransformers、アダプタ管理用のDiffusers、分散コンピューティング用のAccelerateを含む）。 - 量子化（例：QLoRA）のサポートによりメモリフットプリントをさらに削減し、コンシューマーグレードのハードウェアでの大規模モデルのトレーニングを可能にします。 - フルモデルの重みの代わりに、軽量なアダプタ（多くの場合わずか数MB）を保存およびロードする機能。 - Direct Preference Optimization (DPO) を含む、RLHF (Reinforcement Learning from Human Feedback) ワークフローのためのTRLとの互換性。