SwiGLU 前馈网络

大模型手撕 · 简单 · 激活函数、模型结构

实现 LLaMA 的 SwiGLU FFN(无 bias,x @ W 形式):

数据范围

在 RagCodes 上用 Python / C++ / Java 在线编写并提交,核心代码模式与 ACM 模式均可评测。