本文是对最新的（2023 年 4 月）综述论文 《Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning》 的一个阅读记录。

论文作者介绍了三大类主要的 PEFT 方法：

• 基于加法（Additive）

• 基于选择（Selective）

• 基于重新参数化（Reparametrization-based）。

在基于加法的方法中，又额外区分了两大类：

• 类适配器方法（Adapters）

• 软提示（Soft Prompts）

1、Additive

2、Selective

3、Reparameterization-based（重参数化）

4、Hyperactive（混合、组合）

参考

• 综述论文：《Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning》

• 苏剑林博客：Ladder Side-Tuning：预训练模型的“过墙梯”

• LoRA：《LoRA: Low-Rank Adaptation of Large Language Models》

• MIM Adapter：

  • 知乎：ICLR2022 高分文章：将 Adapter、prompt-tuning、LoRA 等纳入统一的框架