第 8 章 上下文窗口

本章导引

大模型能处理的文本长度存在上限，这个上限称为"上下文窗口"。本章介绍上下文窗口的来源、位置编码的作用，以及长文本处理的常见策略。

---

8.1 上下文窗口的定义

[待撰写]

8.2 窗口限制的来源

[待撰写]

8.3〔深入·可选〕位置编码

[待撰写]

8.4 长文本处理策略

[待撰写]

本章小结

• 上下文窗口是模型单次推理能处理的最大 token 数
• 限制来源于注意力机制的 O(n²) 计算复杂度和 KV Cache 的显存占用
• 位置编码为排列不变的注意力机制注入位置信息
• RoPE 是当前主流的相对位置编码方案
• 长文本处理有多种策略，各有权衡

参考文献

[待补充]