大模型手撕 · 困难 · Attention、推理优化、Online Softmax
用 分块 + online softmax 的方式实现注意力前向:沿 K / V 的序列维度每次只取 blocksize 个位置,维护每一行的运行最大值 m 与归一化和 l,最终结果必须与标准注意力一致。
在 RagCodes 上用 Python / C++ / Java 在线编写并提交,核心代码模式与 ACM 模式均可评测。