大模型手撕 · 简单 · 激活函数、模型结构
实现 LLaMA 的 SwiGLU FFN(无 bias,x @ W 形式):
在 RagCodes 上用 Python / C++ / Java 在线编写并提交,核心代码模式与 ACM 模式均可评测。