Prefix-Tuning、Prompt-Tuning、P-Tuning v2 的区别？

一句话速记：Prompt-Tuning 只在输入层加可训练软提示；Prefix/P-Tuning v2 在每一层都加可训练的 K/V 前缀。

PEFT

同章节的其他八股

• LoRA 的原理？为什么 B 初始化为 0？
• QLoRA 做了哪些改进？
• 常见的参数高效微调方法有哪些？
• SFT 数据怎么构造？数据量和质量哪个更重要？
• 全参数微调和 LoRA 怎么选？LoRA 的 rank 怎么选？
• SFT 之后模型通用能力下降怎么办？
• 什么是指令微调（Instruction Tuning）？和 Prompt Engineering 有什么区别？
• Adapter 和 LoRA 的区别？
• SFT 有哪些实践经验？
• SFT 后的模型怎么评估？
• 微调的 epoch 和数据量怎么定？
• 显卡资源有限时如何低成本微调？