在ANTLR语法中使用不同的关键字关键字

Question

我的语法中的一些关键字（字符串常量）包含大写字母

PREV_VALUE : 'PreviousValue'; 

这会导致奇怪的解析行为：含有相同的大写字母（“P”，“V”）被解析不正确其他标记。

这里的词法语法的简化版本：

lexer grammar ExpressionLexer; 

COMMA : ','; 
LPAREN : '('; 
RPAREN : ')'; 
LBRACK : '['; 
RBRACK : ']'; 
PLUS : '+'; 
MINUS : '-'; 
MULT : '*'; 
DIV : '/'; 
PREV_VALUE : 'PreviousValue'; 
fragment DIGIT : ('0'..'9'); 
fragment LETTER : ('a'..'z'|'A'..'Z'|'_'); 
fragment TAB : ('\t') ; 
fragment NEWLINE : ('\r'|'\n') ; 
fragment SPACE : (' ') ; 

当我试图解析这种表达：

var expression = "P"; //Capital 'P' which included to the keyword 'PreviousValue' 
var stringReader = new StringReader(expression); 
var input = new ANTLRReaderStream(stringReader); 
var expressionLexer = new ExpressionLexer(input); 
var tokens = new CommonTokenStream(expressionLexer); 

tokens._tokens集合包含一个价值

[0] = {[@0,1:1='<EOF>',<-1>,1:1]} 

这是不正确。

如果我改变expression到 'P'（小写字母） tokens._tokens集合包含两个值

[0] = {[@0,0:0='p',<0>,1:0]} 
[1] = {[@1,1:1='<EOF>',<-1>,1:1]} 

这是正确的。

当字符串PREV_VALUE : 'PreviousValue';从语法中删除时，两个表达式都被正确解析。

是否可以在关键字中使用不同的大小写？ 在ANTLR语法中有没有使用这样的关键字的例子？

Answer 1

我很难相信p令牌是基于您发布的语法创建的。在他们面前有fragment的Lexer规则不会产生令牌：这些规则只能被其他词法分析规则使用。

一个简单的演示展示了这一点：

lexer grammar ExpressionLexer; 

@lexer::members { 
    public static void main(String[] args) throws Exception { 
    ExpressionLexer lexer = new ExpressionLexer(new ANTLRStringStream(args[0])); 
    CommonTokenStream tokens = new CommonTokenStream(lexer); 
    tokens.fill(); // remove this line when using ANTLR 3.2 or an older version 
    System.out.println(tokens); 
    } 
} 

COMMA : ','; 
LPAREN : '('; 
RPAREN : ')'; 
LBRACK : '['; 
RBRACK : ']'; 
PLUS : '+'; 
MINUS : '-'; 
MULT : '*'; 
DIV : '/'; 
PREV_VALUE : 'PreviousValue'; 
fragment DIGIT : ('0'..'9'); 
fragment LETTER : ('a'..'z'|'A'..'Z'|'_'); 
fragment TAB : ('\t') ; 
fragment NEWLINE : ('\r'|'\n') ; 
fragment SPACE : (' ') ; 

现在生成的词法分析器和编译.java源文件：

java -cp antlr-3.3.jar org.antlr.Tool ExpressionLexer.g 
javac -cp antlr-3.3.jar *.java

，并运行一些测试：

java -cp .:antlr-3.3.jar ExpressionLexer p 
line 1:0 no viable alternative at character 'p'

这是正确，因为没有（非片段）规则开始于或匹配"p" 。

java -cp .:antlr-3.3.jar ExpressionLexer P 
line 1:1 mismatched character '' expecting 'r'

这是正确的，因为这与"P"开始只（非片段）规则期望一个"r"成为下一个字符（它是不存在的）。