SFT根据是否调整全部参数港陆证券，可以细分为全面微调（Full Fine-tuning）和部分/参数高效微调（Parameter-Efficient Fine-tuning, PEFT）。
全面微调（Full Fine-tuning）
定义：在新任务上调整模型的全部参数港陆证券，以使其完全适应新任务。
步骤：加载预训练模型 → 在新任务数据集上训练模型，调整所有参数。
应用：当新任务与预训练任务差异较大，或者想要充分利用新任务数据集时，可以选择全面微调。
部分/参数高效微调（PEFT）
定义：仅调整模型的部分参数，如添加一些可训练的适配器（adapters）、前缀（prefixes）或微调少量的参数，以保持模型大部分参数不变的同时，实现对新任务的适应。
步骤：加载预训练模型 → 在模型中添加可训练的组件或选择部分参数 → 在新任务数据集上训练这些组件或参数。
应用：当计算资源有限，或者想要快速适应新任务而不影响模型在其他任务上的性能时，PEFT是一个很好的选择。
发布于：湖南省选倍网配资提示：文章来自网络，不代表本站观点。
- 上一篇：科元网 永辉超市2024年连续亏14.65亿, 员工锐减近两万人 | 大鱼财经
- 下一篇：没有了
相关文章
沪深京指数
热点资讯
