小红书 大模型算法面经（一面、二面、三面、四面、五面、六面、七面、八面）

秋招 · 2026-09 · 来源 牛客

聚焦大模型底层原理（Transformer/Attention变体/MoE）、高效训练与推理技术（DPO/PPO/GRPO/FlashAttention/VLLM/KV Cache）、RAG系统设计与评测，辅以基础算法题

• 一面 · 八股：全参数微调7B模型所需显存估算（FP16/BF16精度下）
• 一面 · 八股：FP16与BF16数值表示差异及在训练中的影响
• 二面 · 八股：Transformer编码器-解码器结构、可学习参数分布及各模块功能
• 二面 · 八股：多头自注意力中Q/K/V矩阵数量与维度关系
• 三面 · 项目：RAG系统中文档切分策略对检索效果的影响
• 三面 · 项目：RAG向量化阶段所用Embedding模型选型依据
• 四面 · 项目：LoRA低秩适配的数学原理与参数效率优势
• 四面 · 八股：Diffusion模型基本生成流程（前向加噪/反向去噪）
• 五面 · 项目：RAG项目核心创新点与工程落地挑战
• 五面 · 八股：VLLM的PagedAttention内存管理机制
• 六面 · 八股：前端会话状态存储方案（localStorage/sessionStorage/IndexedDB）
• 六面 · 八股：Webpack与Rspack核心差异（编译器架构/Tree Shaking）
• 七面 · 八股：VLLM的PagedAttention与KV Cache内存复用机制
• 七面 · 八股：DeepSeek R1的训练范式创新（长上下文/多阶段课程学习）
• 八面 · 八股：Transformer时间复杂度分析（O(n²d)）及伪代码推导
• 八面 · 八股：多头注意力相比单头注意力的表达能力与并行性优势