第 2 章 Token 化

本章导引

大语言模型不直接处理文字，而是处理 Token。本章介绍 Token 化的过程、常见的分词算法 BPE，以及中英文分词的差异。读者将通过交互演示直观感受分词过程。

2.1 为什么需要 Token 化

[待撰写]

2.2 BPE：字节对编码算法

[待撰写]

2.3 特殊 Token

[待撰写]

2.4 中英文分词的差异

[待撰写]

2.5 交互演示

[待撰写]

本章小结

Token 化是将文字转换为模型可处理单元的过程
BPE 通过频次驱动的逐步合并，在字符和词之间取得平衡
中英文分词机制不同，影响 token 效率
词表大小是模型设计的重要参数

参考文献

[待补充]