大模型面试八股速背

大模型面试八股速背：192 张速背卡，覆盖 Transformer、预训练、微调、RLHF / DPO / GRPO、推理优化、RAG、Agent、多模态，一句话速记 + 要点，支持遮挡背诵与间隔复习。

• ReLU、GELU、SwiGLU 有什么区别？大模型为什么偏爱门控激活？
• BatchNorm 和 LayerNorm 的区别？为什么 NLP 用 LayerNorm？
• Adam 和 AdamW 的区别？
• Warmup 的作用是什么？
• 梯度消失和梯度爆炸怎么解决？
• L1 和 L2 正则化有什么区别？
• 交叉熵损失怎么推导？二分类为什么不用 MSE？
• 训练中 loss 出现 NaN 怎么排查？
• 梯度累积的原理是什么？
• 余弦相似度、点积、欧氏距离有什么关系？
• KMeans 的流程、缺点和改进？
• 为什么现在的大模型几乎都是 Decoder-only 架构？
• Pre-Norm 和 Post-Norm 有什么区别？大模型为什么用 Pre-Norm？
• RMSNorm 相比 LayerNorm 有什么优势？
• SwiGLU 是什么？为什么 FFN 隐藏层是 8/3 d？
• 如何估算一个 7B 模型的参数量、训练显存和推理显存？
• BPE、WordPiece、Unigram 三种分词算法有什么区别？
• 为什么很多模型要共享输入 embedding 和输出层权重（tie embeddings）？
• MoE 的原理、优势和训练难点？
• Dropout 在大模型预训练中还用吗？
• 大模型训练出现 loss spike（损失突刺）怎么办？
• 讲一下 Transformer 的整体结构和数据流。
• Encoder-only、Decoder-only、Encoder-Decoder 各适合什么任务？
• Decoder 一层的参数量和前向计算量怎么算？
• Transformer 哪些地方可以并行？训练和推理有什么不同？
• BBPE（字节级 BPE）解决了什么问题？中文 tokenizer 有什么讲究？
• SentencePiece 是什么？和 BPE 什么关系？
• 词表大小（vocab size）怎么选？太大太小有什么影响？
• Scaling Law 是什么？Chinchilla 的结论是什么？
• 预训练数据怎么清洗和配比？
• 预训练中的学习率调度有哪些？WSD 有什么好处？
• 为什么大模型训练用 bf16 而不是 fp16？
• 继续预训练（CPT）中如何缓解灾难性遗忘？
• 预训练损失函数是什么？SFT 的损失和预训练有什么区别？
• 预训练需要多少算力和时间？怎么估算？
• 预训练中变长序列怎么处理？什么是 packing？
• CLM 和 MLM 有什么区别？
• 预训练数据怎么去重？
• 长时间预训练要监控哪些指标？
• LoRA 的原理？为什么 B 初始化为 0？
• QLoRA 做了哪些改进？
• 常见的参数高效微调方法有哪些？
• SFT 数据怎么构造？数据量和质量哪个更重要？
• 全参数微调和 LoRA 怎么选？LoRA 的 rank 怎么选？
• SFT 之后模型通用能力下降怎么办？
• 什么是指令微调（Instruction Tuning）？和 Prompt Engineering 有什么区别？
• Prefix-Tuning、Prompt-Tuning、P-Tuning v2 的区别？
• Adapter 和 LoRA 的区别？
• SFT 有哪些实践经验？
• SFT 后的模型怎么评估？
• 微调的 epoch 和数据量怎么定？
• 显卡资源有限时如何低成本微调？
• 大模型幻觉的成因和缓解方法？
• 大模型常用的评测基准有哪些？
• LLM-as-a-Judge 有哪些偏差？如何缓解？
• 如何检测评测集的数据污染？
• 推理时出现复读（重复输出）怎么办？
• 困惑度（PPL）是什么？有什么局限？
• BLEU 和 ROUGE 的区别？为什么大模型评测很少用它们？
• 大海捞针测试测的是什么？有什么不足？
• 什么是越狱攻击？如何防御？
• 大模型水印技术的原理？
• Attention 中为什么要除以 √d？
• MHA、MQA、GQA、MLA 的区别？
• RoPE 的原理是什么？为什么能表示相对位置？
• 如何把模型的上下文长度从 4K 扩展到 128K？
• FlashAttention 为什么快？
• Self-Attention 的时间和空间复杂度？有哪些降复杂度的方法？
• 什么是 Attention Sink？
• Decoder 中的 causal mask 是怎么实现的？padding mask 呢？
• ALiBi、PI（位置插值）、NTK-aware、YaRN 有什么区别？
• MLA（多头潜在注意力）是怎么压缩 KV Cache 的？
• 线性注意力的原理和局限？
• 稀疏注意力有哪些做法？
• DeepSeekMoE 有哪些设计？
• 多 token 预测（MTP）是什么？
• 门控注意力（Gated Attention）解决了什么问题？
• 数据并行、张量并行、流水线并行的区别？
• ZeRO 的三个阶段分别切分了什么？
• 训练时显存不够有哪些办法？
• All-Reduce 是怎么实现的？Ring All-Reduce 的通信量是多少？
• 梯度累积和增大 batch size 等价吗？
• 什么是 MFU？怎么提高训练效率？
• 混合精度训练是怎么做的？
• DeepSpeed、Megatron-LM、FSDP 怎么选？
• 激活重计算（Gradient Checkpointing）的原理？
• 常见的集合通信操作有哪些？分别用在哪？
• 序列并行和上下文并行是什么？
• 千卡训练常见故障怎么排查？
• KV Cache 是什么？显存怎么算？如何优化？
• vLLM 的 PagedAttention 解决了什么问题？
• 什么是 Continuous Batching？
• 投机解码（Speculative Decoding）的原理？
• 大模型量化方法有哪些？GPTQ 和 AWQ 有什么区别？
• Prefill 和 Decode 阶段有什么区别？
• 推理服务的关键指标有哪些？
• Greedy、Beam Search、Top-k、Top-p、Temperature 的区别？
• vLLM、SGLang、TensorRT-LLM 怎么选？
• 知识蒸馏在大模型中怎么做？
• 如何降低推理延迟、提高吞吐量？
• 什么是 PD 分离（Prefill-Decode 分离）？
• 什么是算子融合？为什么能加速？
• 推理中有哪些缓存？前缀缓存怎么实现？
• 如何设计一个高可用的大模型推理服务？
• 讲一下 RLHF 的完整流程。
• DPO 的原理？和 PPO 相比有什么优缺点？
• GRPO 是什么？相比 PPO 有哪些改动？
• 什么是 Reward Hacking？怎么缓解？
• PPO 里的 KL 惩罚起什么作用？β 怎么选？
• 什么是 Constitutional AI / RLAIF？
• ORM 和 PRM 有什么区别？
• Value-based、Policy-based、Actor-Critic 的区别？
• GAE（广义优势估计）是什么？λ 怎么理解？
• 什么是重要性采样？在 PPO 中起什么作用？
• PPO 中有哪四个模型？各自作用？
• PPO 的损失函数怎么写？clip 的作用是什么？
• DPO 的 β 起什么作用？β 大好还是小好？
• DPO 的正负样本怎么构造？训练中看哪些指标？
• GRPO 有哪些问题？DAPO 做了哪些改进？
• GSPO 和 GRPO 有什么不同？
• KTO 是什么？适合什么数据？
• 什么是对齐税（Alignment Tax）？
• RL 训练中的熵坍缩是什么？怎么缓解？
• 什么是训推不一致？异步 RL 怎么做？
• 生成式奖励模型（GenRM）和 Rubric 奖励是什么？
• SFT、蒸馏、RL 怎么选？RL 能扩展模型的能力边界吗？
• RL 训练时应该看哪些指标？
• Agentic RL 和普通 RLHF 有什么不同？
• DeepSeek-R1 的训练流程是怎样的？
• 什么是 Test-time Scaling？有哪些方式？
• 长 CoT 推理模型有哪些常见问题？怎么优化？
• Chain-of-Thought 为什么有效？
• 常见的 Prompt 工程技巧有哪些？
• 思维树（ToT）、自我一致性、ReAct 的区别？
• 推理模型如何控制“思考预算”？
• RAG 的基本流程和各环节的优化点？
• 什么时候用 RAG，什么时候用微调？
• 向量检索为什么还要结合 BM25？
• Bi-Encoder 和 Cross-Encoder 有什么区别？
• 文档切块（Chunking）有哪些策略？块大小怎么选？
• GraphRAG 是什么？适合什么场景？
• RAG 系统怎么评估？
• 什么是 Agentic RAG？和普通 RAG 有什么区别？
• PDF 和表格解析有哪些难点？怎么做？
• BM25 和 TF-IDF 的区别？
• HNSW 和 IVF 索引的原理？怎么选？
• 为什么需要重排序（Rerank）？
• 查询改写有哪些方法？
• RAG 有哪些常见痛点？
• 企业 RAG 如何做权限隔离？长上下文能取代 RAG 吗？
• 多模态 RAG 怎么做？
• LLM Agent 由哪些部分组成？
• Function Calling 是如何实现的？
• MCP（Model Context Protocol）是什么？解决什么问题？
• 多 Agent 系统有哪些常见架构？
• Agent 的长期记忆怎么设计？
• 什么是 Context Engineering（上下文工程）？
• Workflow 和 Agent 的区别？什么时候用哪个？
• ReAct 的流程？有什么缺点？
• Plan-and-Solve 和 Reflection 是什么？
• 工具调用失败怎么处理？
• Agent 陷入无限循环怎么办？
• 意图识别怎么做？
• A2A 协议是什么？和 MCP 的关系？
• Agent Skills 是什么？和 MCP、Prompt 有什么区别？
• 什么是 Harness Engineering？
• Agent 的人工确认（HITL）和状态持久化怎么设计？
• Agent 系统怎么评估？pass@k 和 pass^k 有什么区别？
• Deep Research 和 Computer-Use Agent 是怎么工作的？
• 如何让大模型稳定输出 JSON？
• SFT/预训练数据清洗的流程？
• 如何保证数据多样性？
• Hugging Face 模型目录里各文件是什么？
• Python 中 list、tuple、set、dict、deque、heapq 的时间复杂度？
• LLaMA 系列有哪些关键改进？
• Qwen 系列的结构和演进？
• DeepSeek-V3 有哪些主要创新？
• DeepSeek-R1-Zero 和 R1 有什么区别？
• 什么是 RLVR？为什么它推动了推理模型的发展？
• 从零训练一个 LLM 的完整流程是怎样的？
• LLaVA 类多模态大模型的结构和训练流程？
• CLIP 是怎么训练的？
• ViT 的原理？图像 token 数怎么计算？
• 扩散模型的基本原理？DiT 是什么？
• BLIP-2 的 Q-Former 是什么？
• Qwen-VL 系列有哪些关键设计？M-RoPE 是什么？
• Flow Matching 和扩散模型有什么关系？
• Stable Diffusion 的结构？
• 你怎么看世界模型？
• 当前大模型面临哪些挑战？
• 未来大模型架构可能如何演化？
• 面试最后的反问环节问什么好？