PEFT 方法比较（数据来自 [1]）
修改，而预训练模型保持冻结状态。微调后，权重更新可以与冻结的预训练模型合并，以获得最终的微调模型。要深入了解 LoRA 细节，我推荐这篇精彩的博客文章。下表（数据来自 ）使用 T5-base 模型 比较了 100 个不同 NLP 任务中的不同 PEFT 方法。它还展示了 T5-large 上 prompt-tuning 的性能，以突出此方法的规模化能力 。本文未探讨 P-tuning，但其结果比 prompt-tuning 更好 。
PEFT 方法比较（数据来自 ）
近来，参数高效微调的研究大幅增加，各种 捷克共和国电报数据 新方法不断涌现。Compacter 等一些方法结合了不同范式（包括基于添加和重新参数化）的思想。
同样，这里介绍的不同方法可以组合使用，例如，使用 LoRA 进行微调和快速调整。对于那些考虑这些技术的人，你可以看看HuggingFace PEFT 库，它提供了与大多数 HuggingFace 模型兼容的现成实现。
Ding 等人（2022 年）。Delta tuning：预训练语言模型的参数高效方法的全面研究。
Lialin 等人（2023 年）。缩小到扩大：参数高效微调指南。
喜欢这个吗？请阅读我们最近的其他技术文章，了解如何使用工具增强 LLM、用于文本分类的 LLM，以及更多关于 Data From the Trenches Medium 的内容。
頁:
[1]