什么是参数高效微调

参数高效微调（PEFT）是一种用于将大型预训练机器学习模型（尤其是大语言模型）适应新特定任务或数据集的技术。其核心目标是在不需要更新所有模型参数的计算开销下实现高性能。

PEFT方法在微调阶段有策略地修改或引入模型原始参数的一小部分。常见方法包括在层间添加小型可训练适配器模块、选择性更新特定参数集，或学习专门的输入嵌入。与全量微调相比，这显著减少了训练时间、内存占用和存储成本。关键应用涉及在不需要过高资源消耗的情况下，为法律、医疗或金融等领域高效定制大语言模型。应根据任务复杂度、模型架构和资源约束选择合适的PEFT方法。

PEFT使大型模型能够在边缘设备等资源受限硬件上实际部署，并通过降低门槛促进更广泛的实验和定制化。通过降低为特定应用定制最先进AI模型的成本，它带来了巨大商业价值，在保持竞争性任务性能的同时提升了可及性。