字节 推荐大模型算法面经（一面、二面）

秋招 · 2026-11

一面聚焦Transformer底层原理与归一化基础，二面深入考察MoE机制原理及实验设计方法

• 一面 · 项目：介绍个人论文项目及核心贡献
• 一面 · 八股：BatchNorm 与 LayerNorm 的计算方式及核心区别
• 一面 · 八股：Transformer 若改用 BatchNorm 导致训练与推理结果不一致的原因
• 一面 · 八股：Softmax 计算中数值溢出（上溢/下溢）的原因及数值稳定性处理方法
• 一面 · 八股：Pre-LN 与 Post-LN 架构的区别、优缺点及对梯度的影响
• 一面 · 八股：Scaled Dot-Product Attention 中除以根号 dk 的作用及不缩放对 Softmax 输出和梯度的影响
• 一面 · 手撕：代码实现：最长有效括号
• 二面 · 八股：MoE（混合专家模型）与 Multi-Head Attention 的结构及功能对比
• 二面 · 八股：Sparse MoE 的“稀疏性”具体体现在哪些维度
• 二面 · 八股：Router（路由门控）与 Top-K 专家的前向计算与分发流程
• 二面 · 八股：MoE 中的专家坍缩（Expert Collapse）现象、产生原因及后果
• 二面 · 八股：MoE 中设计专家负载均衡（Load Balancing Loss）的必要性与实现机制
• 二面 · 八股：为 Attention 增加 Gating 机制与 MoE 架构的本质异同
• 二面 · 场景：评估模型改进时，如何排除参数量增加等无关变量的干扰以保证公平对比
• 二面 · 场景：如何科学设计消融实验以证明收益确切来源于新增模块
• 二面 · 手撕：代码实现：编辑距离