缩放点积注意力(含因果 Mask)

大模型手撕 · 简单 · Attention、Transformer

实现缩放点积注意力:

数据范围

在 RagCodes 上用 Python / C++ / Java 在线编写并提交,核心代码模式与 ACM 模式均可评测。