大模型手撕 · 简单 · 反向传播、训练
全连接层前向为 y = xW + b,其中 x (N, in),w (in, out),b (out,)。给定上游梯度 gradout = ∂L/∂y,形状 (N, out),返回三元组 (dx, dw, db)。
在 RagCodes 上用 Python / C++ / Java 在线编写并提交,核心代码模式与 ACM 模式均可评测。