吉利 大模型算法面经（一面、二面）

秋招 · 2026-11

一面深挖强化学习理论与Agent训练稳定性，二面考察前沿对齐/蒸馏论文与流式图像差异手撕

• 一面 · 八股：Agentic RL 与传统大模型 RL 的核心区别与技术演进
• 一面 · 八股：长时序任务下 Agent RL 训练容易崩溃的底层原因（方差累积、非马尔可夫性、Off-policy偏差）
• 一面 · 八股：强化学习训练崩坏的具体表现与监控指标（Loss尖峰、熵塌缩、Reward下降）
• 一面 · 八股：Agent 自进化机制的底层逻辑及是否等同于自主迭代训练
• 一面 · 八股：PPO 与 GRPO 在信用分配机制上的核心区别
• 一面 · 八股：GRPO 在缺失 Critic 下估计优势的方法及组内归一化的前置假设
• 一面 · 八股：PPO 中 Clip 机制与 KL 散度约束的等价性辨析及适用场景
• 一面 · 八股：PPO Clip 超参数调大调小对策略收敛与探索的影响
• 一面 · 八股：DAPO 的 Token 级损失相较原生 GRPO 的改动与收益
• 一面 · 八股：Clip-higher 技巧促使模型探索的原理
• 一面 · 八股：强化学习动态采样过滤全对/全错用例实现训练加速的原理
• 一面 · 项目：实际大模型强化学习训练中最敏感的超参数调优经验
• 二面 · 八股：GAE（广义优势估计）的作用机制及已有 Critic 时引入 GAE 的原因
• 二面 · 八股：GAE 中超参数 λ 分别取 0 和 1 时的退化形式分析
• 二面 · 八股：上下文压缩加剧 Agent 任务信用分配难度的原因
• 二面 · 八股：Reward Hacking 在多轮 Agent 场景中比单轮对话更严重的原因
• 二面 · 场景：线上检测 Reward Hacking 的具体信号与常见异常案例
• 二面 · 八股：DSPO 的序列级优化相较 Token 级优化的优势
• 二面 · 八股：DeepSeek-V4 相比 V3 的核心架构与算法技术迭代
• 二面 · 八股：大模型采用在线策略蒸馏（OPD）替代纯 RL 训练的设计考量
• 二面 · 八股：在线策略蒸馏（OPD）与常规离线知识蒸馏的本质区别
• 二面 · 八股：学生自采样、教师给分场景下教师与学生分布的对齐方案
• 二面 · 开放：策略蒸馏是否能完全替代强化学习及其技术边界
• 二面 · 场景：单机 8 卡算力受限条件下大模型 RL 训练流程的裁剪与优化策略
• 二面 · 手撕：实现分块流式读取、带容差与噪声过滤机制的图像差异最小包围矩形算法