第 3 章 词嵌入

本章导引

Token 化后，每个 Token 需要被映射为一个数值向量。本章介绍词嵌入的概念、向量空间的语义特性，以及位置信息如何被编码。读者将通过可视化直观感受词向量的语义聚类现象。

---

3.1 从离散到连续：为什么需要嵌入

[待撰写]

3.2 向量空间中的语义关系

[待撰写]

3.3 嵌入是如何学习到的

[待撰写]

3.4 上下文相关嵌入

[待撰写]

本章小结

• 词嵌入将离散的 token 映射为连续的稠密向量
• 语义相近的词在向量空间中距离更近
• 余弦相似度是衡量向量语义相似性的常用指标
• 大模型使用上下文相关的动态嵌入，而非静态嵌入

参考文献

[待补充]