能不能不动庞大的基座

全参微调要为每个参数保存梯度和优化器状态，成本随模型规模水涨船高，而且每适配一个任务就存一整套模型副本，极不划算。参数高效微调（PEFT）的共同思想是：冻结预训练权重，只引入并训练极少量额外参数，让这些「小补丁」承载任务差异。

LoRA：给权重加一条低秩「旁路」

LoRA（低秩适应）假设：模型适配新任务所需的权重变化是低秩的——也就是说，巨大的权重矩阵 W 只需要在一个低维方向上调整。它不直接改 W，而是并行加一条小旁路：先用一个「降维」矩阵 A 把特征压到秩 r，再用「升维」矩阵 B 还原回去，输出为 W′x = Wx + BAx。训练时 W 冻结，只训很小的 A 和 B。

秩 r 远小于原矩阵维度，因此 A、B 参数量只是 W 的零头，训练显存和时间大幅下降，且多个任务可以共用同一个基座、各自挂不同的小 LoRA 权重，随时热插拔切换。推理时还可以把 BA 合并回 W，不增加额外计算。

为什么「适配新任务所需的权重变化是低秩的」这个假设站得住？直觉是：基座模型已经把通用语言学得很好了，适配某个具体领域（比如客服、法律、某种语气），并不需要改动整个权重矩阵的每个角落，通常只需要在少数几个方向上做调整。巨大的 W 是千百万个数排成的矩阵，但任务带来的变化往往集中在一个低维子空间里——用两个小矩阵 A、B 的乘积去表示这个变化，参数量从 d×d 骤降到 d×r + r×d，而 r 常常只有几到几十。这就是 LoRA 省得惊人却效果不差的根：它没有假装任务不需要学习，而是抓住了「任务变化是低维的」这个结构。工程上，同一个基座挂几十上百个不同 LoRA，想切风格就换一个小文件，这已经成了社区分发模型能力的标准方式。

LoRA 为什么能做到「推理不变慢」？关键在于它训练时是旁路，推理时可以合并：训完之后把 B·A 这个增量直接加回原权重 W，得到一个新的权重矩阵，之后前向传播就和普通模型一模一样，没有额外计算分支。这意味着你用极小的成本训出了任务适配，部署时却不必为它付出推理代价。它的可插拔性同样来自这个结构：基座 W 冻结不动，每个任务只是几 MB 到几百 MB 的小 A、B 文件，需要哪个任务就挂上哪个，想换风格几秒钟搞定。QLoRA 则再往前一步——把基座权重量化到 4bit 存着，省掉一大半显存，只对那点 LoRA 参数用高精度训练，于是在单张消费级显卡上微调一个很大的模型成为现实。它牺牲一点基座的数值精度，换来的是普通人也能做领域微调。

PEFT 家族对比

什么时候还得回到全参微调？当任务需要从根本上改变模型能力、而不只是「换个风格/领域」时，低秩旁路的容量就可能不够——比如要给模型加入全新的语种、或大幅改变它深层的知识结构，光靠几维的旁路调整不动。此外，如果显存充裕、追求极致效果、且只部署一个任务，全参微调的上限仍然更高。现实中的取舍很务实：绝大多数领域适配、个人实验、多任务并存的场景，LoRA/QLoRA 的性价比压倒性地好；只有在少数「要榨干模型上限」的场合，才值得付出全参微调的成本。记住这个判断：LoRA 不是万能，但它把「微调」这件从前只有大团队玩得起的事，下放到了普通开发者手里。