大模型手撕

大模型手撕：Attention、Norm、RoPE、采样、RLHF 损失……面试官最爱让你现场写的那些。在线编写、运行与评测，附原创题解。

• 1. 数值稳定的 Softmax（简单）
• 2. 缩放点积注意力（含因果 Mask）（简单）
• 3. 多头注意力 MHA（中等）
• 4. 分组查询注意力 GQA / MQA（中等）
• 5. 带 KV Cache 的单步解码（中等）
• 6. 旋转位置编码 RoPE（中等）
• 7. 正弦位置编码（简单）
• 8. 线性注意力（中等）
• 9. FlashAttention 前向（分块 + Online Softmax）（困难）
• 10. LLaMA 风格 Decoder Block（困难）
• 11. LayerNorm（简单）
• 12. RMSNorm（简单）
• 13. BatchNorm 前向（训练模式）（简单）
• 14. GELU 激活（tanh 近似）（简单）
• 15. SwiGLU 前馈网络（简单）
• 16. 交叉熵损失（含 ignore_index 与 label smoothing）（中等）
• 17. KL 散度（简单）
• 18. InfoNCE 对比学习损失（中等）
• 19. 困惑度 PPL（简单）
• 20. 奖励模型 Pairwise Loss（简单）
• 21. DPO 损失（中等）
• 22. PPO 截断策略损失（中等）
• 23. GRPO 损失（困难）
• 24. 广义优势估计 GAE（中等）
• 25. Top-K / Top-P 采样分布（中等）
• 26. 重复惩罚（简单）
• 27. Beam Search（中等）
• 28. AdamW 单步更新（中等）
• 29. 全连接层反向传播（简单）
• 30. Softmax + 交叉熵的梯度（简单）
• 31. LayerNorm 反向传播（困难）
• 32. LoRA 前向（简单）
• 33. Warmup + 余弦退火学习率（简单）
• 34. 梯度裁剪（全局范数）（简单）
• 35. AUC 计算（中等）
• 36. K-Means 聚类（中等）
• 37. 非极大值抑制 NMS（中等）
• 38. 二维卷积（im2col）（中等）
• 39. INT8 对称量化（简单）
• 40. MoE Top-K 路由前向（困难）
• 41. BPE 分词器训练（中等）
• 42. 大模型参数量计算（简单）