大模型手撕 · 困难 · Transformer、模型结构、RMSNorm、SwiGLU
实现一个 Pre-Norm 的 LLaMA 风格 Decoder 层(不含 RoPE,所有 Linear 无 bias,形式为 h @ W):
在 RagCodes 上用 Python / C++ / Java 在线编写并提交,核心代码模式与 ACM 模式均可评测。