LLaMA 系列有哪些关键改进？

一句话速记：Pre-RMSNorm + SwiGLU + RoPE 奠定标准结构；LLaMA-2 加 GQA 和 4K 上下文；LLaMA-3 用 128K 词表、15T token、8K→128K 上下文。

LLaMA

同章节的其他八股

• Qwen 系列的结构和演进？
• DeepSeek-V3 有哪些主要创新？
• DeepSeek-R1-Zero 和 R1 有什么区别？
• 什么是 RLVR？为什么它推动了推理模型的发展？
• 从零训练一个 LLM 的完整流程是怎样的？