ReFT(Representation Finetuning)是一种突破性的方法，有望重新定义我们对大型语言模型进行微调的方式。
这是由斯坦福大学的研究人员刚刚（4月）发布在arxiv上的论文，ReFT与传统的基于权重的微调方法大有不同，它提供了一种更高效和有效的方法来适应这些大规模的模型，以适应新的任务和领域!
在介绍这篇论文之前，我们先看看PeFT。
参数高效微调 PeFT
参数高效微调方法（Parameter-Efficient Fine-Tuning，PEFT）仅微调少量或额外的模型参数，固定大部分预训练参数，大大降低了计算和存储成本，同时最先进的 PEFT 技术也能实现了与全量微调相当的性能。
在PeFT的思想之上就产生了我们非常熟悉的LoRA，还有各种LoRA的变体，除了有名的LoRA之外常用的PeFT方法还有：
Prefix Tuning：通过virtual token构造连续型隐式prompt ，这是21年斯坦福发布的方法。
P-Tuning V1/V2：这是清华大学在21年提出的将自然语言的离散模版转化为可训练的隐式prompt (连续参数优化问题)，V2版在输入前面的每层加入可微调的参数，增强了V1版的性能。
然后就是我们熟悉的也是最长用的LoRA，这里就不多介绍了，我们可以狭义理解为LoRA是目前最好的PeFT方法，这样可以对我们下面介绍的ReFT更好的对比。
表征微调 ReFT
ReFT (Representation Finetuning)是一组专注于在推理过程中对语言模型的隐藏表示学习干预的方法，而不是直接修改其权重。
与更新模型整个参数集的传统微调方法不同，ReFT通过策略性地操纵模型表示的一小部分来操作，指导其行为以更有效地解决下游任务。
ReFT背后的核心思想受到最近语言模型可解释性研究的启发：在这些模型学习的表示中编码了丰富的语义信息。通过干预这些表示，ReFT旨在解锁和利用这些编码知识，实现更高效和有效的模型适应。
ReFT的一个关键优点是它的参数效率：传统的微调方法需要更新模型参数的很大一部分，这可能是计算昂贵和资源密集的，特别是对于具有数十亿参数的大型语言模型。ReFT方法通常需要训练数量级更少的参数，从而获得更快的训练时间和更少的内存需求。
ReFT与PeFT有何不同
ReFT与传统PEFT方法在几个关键方面有所不同：
1、干预目标
PEFT方法，例如，LoRA、DoRA和prefix-tuning，侧重于修改模型的权重或引入额外的权重矩阵。而ReFT方法不直接修改模型的权重;它们会干预模型在向前传递期间计算的隐藏表示。
2、适应机制
像LoRA和DoRA这样的PEFT方法学习权重更新或模型权重矩阵的低秩近似值。然后在推理期间将这些权重更新合并到基本模型的权重中，从而不会产生额外的计算开销。ReFT方法学习干预，在推理过程中在特定层和位置操纵模型的表示。此干预过程会产生一些计算开销，但可以实现更有效的适应。
3、动机
PEFT方法的主要动机是对参数有效适应的需求，减少了调优大型语言模型的计算成本和内存需求。另一方面，ReFT方法受到最近语言模型可解释性研究的启发，该研究表明，在这些模型学习的表示中编码了丰富的语义信息。ReFT的目标是利用和利用这些编码的知识来更有效地适应模型。
4.参数效率
PEFT和ReFT方法都是为了参数效率而设计的，但ReFT方法在实践中证明了更高的参数效率。例如LoReFT(低秩线性子空间ReFT)方法通常需要训练的参数比最先进的PEFT方法(LoRA)少10-50倍，同时在各种NLP基准测试中获得具有竞争力或更好的性能。
5、可解释性
虽然PEFT方法主要侧重于有效的适应，但ReFT方法在可解释性方面提供了额外的优势。通过干预已知编码特定语义信息的表示，ReFT方法可以深入了解语言模型如何处理和理解语言，从而可能导致更透明和值得信赖的人工智能系统。
ReFT架构
ReFT模型体系结构定义了干预的一般概念，这基本上意味着在模型向前传递期间对隐藏表示的修改。我们首先考虑一个基于transformer的语言模型，该模型生成标记序列的上下文化表示。
给定一个n个输入令牌序列x = (x₁，…，xn)，模型首先将其嵌入到一个表示列表中，就h₁，…，hn。然后m层连续计算第j个隐藏表示，每一个隐藏的表示都是一个向量h∈λ，其中d是表示的维数。
ReFT定义了一个干预的概念，它在模型向前传递期间修改隐藏的表示。
干预I是一个元组⟨Φ， P, L⟩，它封装了由基于transformer的LM计算的表示的单个推理时间的干预动作，这个函数包含了三个参数:
干预函数Φ:用学习到的参数Φ (Φ)来表示。
干预所应用的一组输入位置P≤{1，…，n}。
对层L∈{1，…，m}进行干预。
然后，干预的动作如下：
h⁽ˡ⁾ ← (Φ(h_p⁽ˡ⁾) if p ∈ P else h_p⁽ˡ⁾)_{p∈1,…,n}