它如何为每个词位产生多个标记？

Question

我刚开始阅读龙书，我发现很难理解一些陈述。

它说：“词法分析器为源程序中的每个词位生成一系列令牌”。你能帮我理解上面的路线吗？我知道令牌和词位，但是为每个词位生成多个标记意味着什么...... AFAIK LEXEME本身就会影响单个标记。

完整引用如下：

“作为编译器的第一阶段中，词法分析器的主要任务是读出的源程序的输入字符，将它们组成词位，并产生作为源程序中每个词位的一系列令牌输出。“

以上报价是从下页号的标题“词法分析器的作用”一章3..section 3.1是109

Answer 1

你是正确的。令牌通常与词位一一对应。尝试将该句子重新解析为“...”，并在源程序中为词位生成一个令牌的序列。正如我读过的那样，这就是作者想表达的意思。