Top-K / Top-P 采样分布

大模型手撕 · 中等 · 解码、采样

给定下一个 token 的 logits (V,),按以下顺序得到采样用的概率分布(与 HuggingFace 的 logits processor 行为一致):

数据范围

在 RagCodes 上用 Python / C++ / Java 在线编写并提交,核心代码模式与 ACM 模式均可评测。