token源码、token生成原理

1、理解token和tokenizer，可以将其视为解析过程中的关键概念首先，token通常被解释为一种“标记”，它在编程中的作用是标识出源代码中的特定部分，如关键字变量名字符串等语法元素Tokenizer则是一个工具或函数，负责将原始输入如文本流分解成这些有意义的标记，这个过程被称为“令牌化”或“