YaRN：YaRN: Efficient Context Window Extension of LLMs

ICLR 2024 · Nous Research 等

按频率分段处理 RoPE 插值并引入注意力温度，以极少的微调把上下文扩展到 128K。