Qwen 系列的结构和演进？

一句话速记：Qwen 采用 LLaMA 式结构 + 大词表；Qwen2 全面 GQA；Qwen3 去掉 QKV bias 改用 QK-Norm，并融合思考/非思考模式。

Qwen

同章节的其他八股

• LLaMA 系列有哪些关键改进？
• DeepSeek-V3 有哪些主要创新？
• DeepSeek-R1-Zero 和 R1 有什么区别？
• 什么是 RLVR？为什么它推动了推理模型的发展？
• 从零训练一个 LLM 的完整流程是怎样的？