LoRA 与 PEFT

资源介绍

通过较少的可训练参数适配模型，适合领域任务微调与适配器实验，降低全参数训练的资源开销。

LoRA 是参数高效微调的一种常见方法，通过低秩适配器学习任务相关变化。实际效果取决于数据、目标层和训练配置，适合在已有基础模型上开展范围明确的任务适配。

主要能力

• 使用低秩适配器训练
• 减少需要更新的参数
• 通过 PEFT 管理适配器配置

如何开始

1. 01

   阅读 PEFT 与 LoRA 概念文档。

2. 02

   整理有代表性的训练和验证数据。

3. 03

   先做小规模实验，再比较泛化与过拟合情况。