Reeed's Blog

論文地址：https://arxiv.org/abs/2106.09685
作者：Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen

引言：大模型時代的 “微調之困” 與參數高效的曙光#

大型預訓練語言模型（LLMs）如 GPT 系列、BERT 及其變體，無疑已經成為自然語言處理（NLP）乃至整個人工智能領域的基石。它們憑藉海量的參數和在巨量數據上的預訓練，展現出驚人的通用能力。然而，“大” 也帶來了新的挑戰：當我們需要將這些通用大模型適應到特定的下游任務或領域時，傳統的 全量微調（Full Fine-tuning） 方法 —— 即更新模型的所有參數 —— 變得異常昂貴。這不僅需要巨大的計算資源（GPU 集群、長時間訓練），還會為每個任務都生成一個完整的大模型副本，導致存儲成本激增，對於需要同時服務多個定制化模型的場景尤其不友好。

在這樣的背景下， 參數高效微調（Parameter-Efficient Fine-tuning, PEFT） 技術應運而生，旨在以最小的代價（可訓練參數量、計算資源、存儲空間）實現大模型對新任務的有效適應。在眾多 PEFT 方法中，由微軟研究員提出的 LoRA（Low-Rank Adaptation of Large Language Models） 以其獨特的構思、出色的性能和幾乎無額外推理延遲的特性，迅速成為該領域的熱門技術。

本文將深入探索 LoRA 的核心思想：

• LoRA 是如何巧妙地 “凍結” 大部分參數，僅通過少量可訓練參數實現高效微調的？
• 其背後的核心假設 ——“權重更新的低秩性”—— 是如何被提出的？
• LoRA 與其他參數高效微調方法（如 Adapter）相比，有何獨特優勢？
• 它在實際應用中表現如何，又為我們帶來了哪些啟發？

微調的痛點：全量更新的 “不能承受之重”#

在 LoRA 出現之前，研究者們已經嘗試了多種方法來降低大模型微調的成本：

• Adapter Tuning（適配器微調）：在預訓練模型的各層之間插入小型的、可訓練的 “適配器” 模塊（通常是兩層 MLP）。微調時只更新這些適配器模塊的參數，而主體模型參數保持不變。雖然 Adapter 顯著減少了可訓練參數，但它引入了額外的網絡層，不可避免地增加了推理時的計算延遲，尤其是在小批量、短序列的場景下。此外，Adapter 的插入位置和內部結構也需要精心設計。
• Prefix-Tuning（前綴微調）：固定預訓練模型，為模型的每一層或注意力機制添加一小段可訓練的 “前綴” 向量序列作為上下文。這種方法也減少了可訓練參數，但可能會降低模型的可用序列長度，並且其性能有時難以匹敵全量微調。
• BitFit（偏置微調）：一種更為極致的方法，只微調模型中的偏置（bias）參數，或者極少數特定參數。雖然參數效率極高，但其表達能力受限，通常性能不如其他方法。

這些方法都在一定程度上緩解了全量微調的壓力，但往往伴隨著性能損失、推理延遲增加或模型結構受限等代價。研究者們期待一種既能大幅減少可訓練參數，又不犧牲模型原有性能和推理效率的更優解決方案。

LoRA 核心方法論：洞察權重更新的 “低秩本質”#

LoRA 的提出，基於一個深刻的洞察和核心假設：預訓練語言模型在適應新任務時，其權重的變化量（記為 $\Delta W$）具有低的 “內在秩”（low "intrinsic rank"）。

換句話說，儘管預訓練模型 $W_0$ 本身是高秩的（擁有複雜的、全維度的知識表示），但在針對特定下游任務進行微調時，我們為了適應這個新任務而需要對 $W_0$ 進行的調整 $\Delta W$，其信息量其實可以被一個遠低於原始維度的低秩空間所表示。

基於這一核心假設，LoRA 的技術路徑清晰而優雅：

1. 凍結預訓練權重：在微調過程中，原始預訓練模型的權重 $W_0$ (例如 Transformer 中的查詢$W_q$、鍵$W_k$、值$W_v$或輸出$W_o$等權重矩陣) 完全保持不變，不參與梯度更新。

2. 注入低秩適應模塊：對於模型中選定的需要進行適應的權重矩陣 $W_0 \in \mathbb{R}^{d \times k}$，LoRA 在其旁邊並行地注入兩個小型的、可訓練的 “低秩分解” 矩陣：$B \in \mathbb{R}^{d \times r}$ 和 $A \in \mathbb{R}^{r \times k}$。這裡的 $r$ 就是 LoRA 模塊的秩（rank），它是一個遠小於$d$ 和 $k$ 的超參數（例如， $r$ 可以是 1, 2, 4, 8 等，而 $d, k$ 通常是幾千）。

3. 低秩更新的表示：原始權重的更新量 $\Delta W$ 現在就被這兩個低秩矩陣的乘積來近似表示，即 $\Delta W = BA$。

4. 修改後的前向傳播：當模型進行前向傳播時，對於一個輸入 $x$，經過 LoRA 修改的層的輸出 $h$ 就變成了：
   $h = W_0x + \Delta W x = W_0x + BAx$
   在實際應用中，通常還會對 $BAx$ 乘以一個縮放因子 $\frac{\alpha}{r}$（其中 $\alpha$ 是一個可調超參數，通常設為與 $r$ 相同或固定值如 1，以穩定訓練），所以更完整的形式是：
   $h = W_0x + \frac{\alpha}{r} BAx$
   這個操作等價於在原始的 $W_0x$ 路徑旁邊，增加了一個由 $A$ 和 $B$ 構成的 “旁路” 或 “殘差路徑”。

5. 僅訓練低秩矩陣：在微調過程中，只有矩陣 $A$ 和 $B$ 的參數是可訓練的，而 $W_0$ 始終被冻结。由於 $r$ 非常小，可訓練參數的數量從 $d \times k$（全量微調 $\Delta W$）急劇減少到 $r \times (d+k)$（訓練 $A$ 和 $B$）。

6. 推理時的 “零額外延遲”：這是 LoRA 一個非常吸引人的特性。在訓練完成後進行推理部署時，我們可以將學習到的低秩更新 $BA$ 直接合併回原始權重中，形成一個新的有效權重 $W = W_0 + BA$。這樣，在推理時，模型的前向傳播路徑與原始的預訓練模型完全一樣，不引入任何額外的計算層或參數，從而實現了零額外的推理延遲。這一點與 Adapter 等方法形成了鮮明對比。

與 SOTA 的區別與創新點總結：

• 無推理延遲：通過權重合併，LoRA 在推理時與原始模型具有相同的結構和速度。
• 極高的參數效率：可訓練參數量遠少於全量微調，也常少於某些 Adapter 變體。
• 新的理論視角：基於 “權重更新低秩性” 的假設，為參數高效微調提供了簡潔而有效的數學表達。
• 易於實現和切換：由於 $A$ 和 $B$ 是獨立的模塊，可以為多個任務分別訓練不同的 LoRA 模塊，並在推理時根據需要加載和合併，方便任務切換和模型管理。

實驗驗證：LoRA 的威力與洞察#

LoRA 的提出者們通過在多種模型（包括 RoBERTa, DeBERTa, GPT-2, 乃至擁有 1750 億參數的 GPT-3）和廣泛的 NLP 任務（如 GLUE 基準、文本生成 E2E NLG、摘要 SAMSum 等）上進行了詳盡的實驗，有力地證明了其有效性：

• 性能與全量微調相當甚至更優：實驗結果顯示，LoRA 在可訓練參數量銳減的情況下（例如，在 GPT-3 175B 模型上，可訓練參數減少了高達 10000 倍，從 175B 減少到約 18M），其在下游任務上的表現與全量微調的模型相當，有時甚至略有超出。同時，GPU 顯存佔用也顯著降低（GPT-3 上降低約 3 倍）。
• 無額外推理延遲的承諾兌現：與 Adapter 在小批量、短序列場景下會引入顯著推理延遲不同，合併權重後的 LoRA 確實不引入任何額外的推理開銷。
• 小秩 $r$ 的驚人效果：一個非常重要的發現是，即使使用非常小的秩 $r$（例如 $r=1, 2, 4$），LoRA 也能夠在許多任務上取得與全量微調相近的優異性能。這強有力地支持了其核心假設 —— 即模型適應下游任務時，權重更新確實具有低的 “內在秩”。
• 參數預算的分配策略：實驗還表明，當總的可訓練參數預算有限時，將這個預算分配給模型中更多的權重矩陣（例如，同時對 Transformer 中的$W_q, W_k, W_v, W_o$都應用 LoRA 模塊，每個使用較小的 $r$）通常比僅僅增大單一權重矩陣（如只對$W_q$應用 LoRA）的秩 $r$ 效果更好。這意味著廣泛但 “淺層”（小秩）的適應可能比局部但 “深層”（大秩）的適應更有效。

這些實驗結果不僅驗證了 LoRA 作為一種參數高效微調方法的實用性和高效性，也為其背後的 “低秩適應” 理論提供了堅實的經驗支撐。

LoRA 的影響、局限與未來展望#

LoRA 的出現，對大型語言模型的微調和應用生態產生了深遠的影響：

• 潛在影響與應用價值：

  • 大幅降低大模型微調和部署門檻：使得更多資源有限的研究者和開發者能夠參與到大模型的定制化應用中。
  • 推動個性化和多任務模型的高效實現：可以為每個用戶或每個任務訓練一個輕量級的 LoRA 模塊，實現大規模個性化服務，或者在單個基礎模型上通過加載不同 LoRA 模塊高效支持多任務。
  • 啟發新的參數高效學習範式：其核心思想為後續的 PEFT 方法提供了重要的借鑒。

• 主要局限性：

  1. 任務切換的合併成本：如果為了消除推理延遲而選擇合併 LoRA 權重到基礎模型中，那麼對於需要頻繁切換不同下游任務（每個任務對應不同的 LoRA 模塊）的場景，每次切換都需要重新計算和加載合併後的權重，這可能不夠高效。若不合併，則會像 Adapter 一樣引入一定的推理延遲（儘管 LoRA 的旁路計算通常比 Adapter 的串行計算更易於優化）。
  2. 配置的經驗性：雖然 LoRA 表現優異，但具體應該在哪些層或哪些類型的權重矩陣（如注意力權重、FFN 權重）上應用 LoRA，以及如何為不同任務選擇最優的秩 $r$ 和縮放因子 $\alpha$，目前尚缺乏非常系統的理論指導，更多依賴經驗和實驗嘗試。

• 值得探索的未來方向：

  1. LoRA 與其他 PEFT 方法的融合：探索將 LoRA 的優勢與其他方法（如 Adapter、Prefix-tuning、BitFit，乃至量化、剪枝等）結合，以期達到更好的效果或覆蓋更廣的應用場景。
  2. 深入理解低秩適應的內在機制：從理論層面更深入地研究為什麼權重更新具有低秩性，以及這種低秩性與任務特性、模型結構之間的關係。
  3. 發展更具原則性的 LoRA 配置策略：例如，研究如何根據任務難度或數據特性動態分配秩 $r$，或者自動確定 LoRA 應該應用於哪些層。
  4. 探究預訓練權重本身的秩虧特性：進一步研究大型預訓練模型權重矩陣本身的譜特性，可能為理解其可適應性提供更深層次的洞見。

個人思考與啟發：低秩之美的洞察#

LoRA 最令人印象深刻之處，在於其核心假設 ——“權重更新具有低內在秩”—— 的深刻洞察力。它抓住了一個看似簡單但至關重要的現象，並以此為基石構建了一個極為簡潔而高效的解決方案。通過巧妙的低秩分解和權重合併設計，LoRA 在參數效率、訓練成本、推理速度和模型性能之間取得了令人讚嘆的平衡。

這啟發我們：

1. 關注問題的 “內在維度”：在面對複雜的模型優化或適應問題時，思考參數變化或信息流動的 “真實” 或 “有效” 維度，可能會引導我們發現更簡潔、更高效的解決路徑，而不是僅僅在原始高維空間中進行操作。
2. 兼顧理論優雅與工程實用：LoRA 不僅有一個合理的理論假設，其 “零額外推理延遲” 的設計更是直擊了許多 PEFT 方法在實際部署中的痛點，體現了對工程實用性的高度重視。
3. 從理論中汲取實踐智慧：過參數化模型為何能很好地泛化、遷移學習為何有效等理論問題，其背後的數學原理（如低秩結構、子空間學習等）往往能為我們設計更優的算法提供靈感。

對於研究者和開發者而言，LoRA 不僅僅是一個可以直接使用的工具，更是一個啟發我們思考如何更 “聰明” 地與超大規模模型共舞的範例。它證明了，即使面對龐然大物，我們依然可以通過精巧的設計，以 “四兩撥千斤” 的方式駕馭其強大的力量。