第 16 章 微调入门

本章导引

微调是在已有大模型基础上，用特定领域数据进一步训练以适配具体任务的方法。本章介绍全量微调与参数高效微调（PEFT）的区别，重点讲解 LoRA 的原理。

---

16.1 什么是微调

[待撰写]

16.2 全量微调

[待撰写]

16.3 参数高效微调（PEFT）

[待撰写]

16.4〔深入·可选〕LoRA 详解

[待撰写]

16.5 QLoRA

[待撰写]

16.6 微调的数据准备

[待撰写]

本章小结

• 微调在预训练模型基础上用领域数据进一步训练
• 全量微调效果上限高但成本大，PEFT 成本低且可插拔
• LoRA 通过低秩矩阵分解将可训练参数量降低数个数量级
• QLoRA 结合量化进一步降低显存门槛
• 数据质量是微调效果的关键因素

参考文献

[待补充]