框架红宝石解析/静态代码分析

Question

目前，我正在寻找一个框架，让我来解析Ruby代码和代码转换成concrete syntax tree。

我已经采取了看看Rubyparser，这是我有意去的方向，但它给了我一个抽象语法树来代替。

另一种方法是拆开一个工具，建立一个CST（也许Pelusa或类似的东西）。

你有什么建议吗？它应该用Ruby编写，所以我不能使用原始的Ruby解析器。

Answer 1

我不确定你正在尝试做什么，但看看Treetop它可以让你定义一个语法文件，并将语法编译到Ruby中的解析器。它是一个PEG解析器，所以它比传统的LALR解析器更容易工作。

下面是一个例子解析位红宝石（当然，你将不得不延长语法来满足您的需求可能是困难的，因为Ruby是相当复杂解析）：

require 'treetop' 
Treetop.load_from_string DATA.read 

parser = TestParser.new 

p parser.parse('def func 
    6 + 5 
end') 

__END__ 
grammar Test 
    rule function 
     'def' space function_name function_body 'end' 
    end 
    rule function_name 
     [A-Za-z]+ 
    end 
    rule function_body 
     space expression space 
    end 
    rule expression 
     '6 + 5' 
    end 
    rule space 
     [\t \n]+ 
    end 
end 

解析这个返回AST：

SyntaxNode+Function0 offset=0, "...ef func\n 6 + 5\nend" (space,function_name,function_body): 
    SyntaxNode offset=0, "def" 
    SyntaxNode offset=3, " ": 
    SyntaxNode offset=3, " " 
    SyntaxNode offset=4, "func": 
    SyntaxNode offset=4, "f" 
    SyntaxNode offset=5, "u" 
    SyntaxNode offset=6, "n" 
    SyntaxNode offset=7, "c" 
    SyntaxNode+FunctionBody0 offset=8, "\n 6 + 5\n" (space1,expression,space2): 
    SyntaxNode offset=8, "\n ": 
     SyntaxNode offset=8, "\n" 
     SyntaxNode offset=9, " " 
     SyntaxNode offset=10, " " 
     SyntaxNode offset=11, " " 
    SyntaxNode offset=12, "6 + 5" 
    SyntaxNode offset=17, "\n": 
     SyntaxNode offset=17, "\n" 
    SyntaxNode offset=18, "end" 

此外，您还可以使用tt命令行工具编译树顶语法文件到Ruby代码。

tt test.treetop -o test-treetop.rb