DoRA、LoRA+、PiSSA 分别改进了 LoRA 的什么？

一句话速记：DoRA 把权重拆成「方向 × 幅度」，LoRA 只更新方向、幅度单独学，更接近全参数微调的更新模式；LoRA+ 给 B 矩阵设更大的学习率（约 16 倍）；PiSSA 用原权重的主奇异向量初始化 A、B，收敛更快。

LoRA

同章节的其他八股

• LoRA 的原理？为什么 B 初始化为 0？
• QLoRA 做了哪些改进？
• 常见的参数高效微调方法有哪些？
• SFT 数据怎么构造？数据量和质量哪个更重要？
• 全参数微调和 LoRA 怎么选？LoRA 的 rank 怎么选？
• SFT 之后模型通用能力下降怎么办？
• 什么是指令微调（Instruction Tuning）？和 Prompt Engineering 有什么区别？
• Prefix-Tuning、Prompt-Tuning、P-Tuning v2 的区别？
• Adapter 和 LoRA 的区别？
• SFT 有哪些实践经验？
• SFT 后的模型怎么评估？
• 微调的 epoch 和数据量怎么定？