返回
企业应用
微调的常见方法有哪些?
微调是指使用额外训练将预训练语言模型(大语言模型)适应特定任务或数据集的过程。常见方法包括全量微调和参数高效微调(PEFT)技术。
全量微调在目标任务数据上更新模型的所有参数,但需要大量计算资源。PEFT方法提供了高效替代方案:LoRA在原始权重旁边引入低秩矩阵,适配器(Adapter)在现有层之间插入小型可训练层,提示微调(Prompt Tuning)在冻结核心模型的同时只学习特定任务的软提示嵌入。关键考量是在性能提升与训练成本、数据可用性和硬件限制之间取得平衡。
这些方法支持在金融(报告)、医疗(病历)或客户支持(智能客服)等领域定制模型以增强性能。这提升了准确率,减少了提示工程工作量,并有助于部署更小、针对任务优化的模型,加速大语言模型在专业应用中的普及。
FAQ