字节跳动 大模型算法面经（一面）

秋招 · 2026-10 · 来源 牛客

聚焦大模型基础原理、训练优化（DPO/MoE/KV Cache）与广告场景结合的生成式召回能力

• 一面 · 项目：介绍一个与生成式召回相关的项目，并说明如何适配广告场景
• 一面 · 场景：为支持生成式召回，需对基础检索模型结构做哪些关键修改
• 一面 · 八股：列举并对比常用归一化方法（如BatchNorm、LayerNorm、RMSNorm等）
• 一面 · 八股：随机剔除负样本对AUC指标的影响机制
• 一面 · 八股：DPO的全称、核心优化目标及损失函数公式
• 一面 · 八股：MoE中专家激活分布的典型特征，以及如何归因性能提升来自MoE架构本身
• 一面 · 八股：SGD与Adam的原理差异，Adam在自适应学习率和动量上的改进点
• 一面 · 八股：KV Cache的实现原理及作用，列举其他大模型推理加速技术（如FlashAttention、PagedAttention、量化等）
• 一面 · 手撕：手推正余弦位置编码（Sinusoidal Position Encoding）的数学表达式