小米 大模型算法面经（一面、二面）

秋招 · 2026-11

深度追问GRPO/RLHF等强化学习原理细节，并结合Agent落地、业务规则对齐与线上工程稳定性展开考察

• 一面 · 项目：介绍项目背景以及引入Agent的动机
• 一面 · 项目：Agent离线评测环境搭建与训练数据构建方法
• 一面 · 场景：大模型与外部工具的交互机制及工具报错时的容错处理
• 一面 · 八股：GRPO（Group Relative Policy Optimization）的完整训练流程
• 一面 · 八股：GRPO中组大小（Group size G）的选取依据及偏大偏小的影响
• 一面 · 项目：强化学习训练中的超参数调优经验及最敏感的超参分析
• 一面 · 八股：Reward的设计与实现：规则Reward与Reward Model的选型考量
• 一面 · 八股：规则Reward与模型Reward混用时的加权与尺度对齐策略
• 一面 · 项目：训练过程中是否遇到过Reward Hacking？具体表现形式与应对方案
• 一面 · 八股：Top-k与Top-p解码采样的实现原理及两者联合使用的原因
• 一面 · 八股：GRPO与PPO的核心差异（除去掉Critic网络之外的机制区别）
• 一面 · 八股：DPO损失函数的数学形式及Reference Model不可省略的原因
• 二面 · 场景：业务场景下基座大模型选型的硬性指标与依据
• 二面 · 场景：缺少完整监督轨迹（Trajectory）时的训练信号构造与数据合成策略
• 二面 · 场景：将业务硬规则融入模型的方式选择：写进Prompt还是写进Reward？
• 二面 · 八股：将复杂业务规则写进Reward可能带来的负面后果与风险
• 二面 · 八股：LoRA微调的实现细节与rank维度的选取原则
• 二面 · 项目：项目的实际业务收益衡量与离线评估测试集的划分规范
• 二面 · 场景：离线指标达标后的线上灰度验证方案与上线策略
• 二面 · 场景：线上服务QPS/吞吐量预估与长尾延迟（P99）的保障方案
• 二面 · 场景：如何监控与排查线上线下Reward分布不一致（Distribution Shift）
• 二面 · 场景：业务强约束场景下防止模型幻觉与违规输出的技术兜底方案
• 二面 · 开放：大模型Agent系统长期上线运行后最容易失效或劣化的模块预测与稳定性考量
• 二面 · 手撕：带障碍消除的网格最小路径和（最多消除k个障碍，结合Dijkstra与状态搜索，并分析极端退化情况的优化）