Scala的解析器组合，大文件的问题

Question

我写了一个解析器如下：

class LogParser extends JavaTokenParsers { 

    def invertedIndex: Parser[Array[Array[(Int, Int)]]] = { 
    num ~> num ~> num ~> rep(postingsList) ^^ { 
     _.toArray 
    } 
    } 

    def postingsList: Parser[Array[(Int, Int)]] = { 
    num ~> rep(entry) ^^ { 
     _.toArray 
    } 
    } 

    def entry = { 
    num ~ "," ~ num ^^ { 
     case docID ~ "," ~ count => (docID.toInt, count.toInt) 
    } 
    } 

    def num = wholeNumber ^^ (_.toInt) 

} 

如果我从（270MB）解析文件用的FileReader如下：

val index = parseAll(invertedIndex, new FileReader("path/to/file")).get 

我得到一个Exception in thread "main" java.lang.StackOverflowError（我也尝试包裹在BufferedReader），但我可以通过先读文件到像这样一个String修复：

val input = io.Source.fromFile("path/to/file") 
val str = input.mkString 
input.close() 
val index = parseAll(invertedIndex, str).get 

这是为什么？有没有什么办法可以避免首先将它作为字符串读取，这似乎是一种浪费？

Answer 1

还有另一个库[1]，它很像支持Trampolining的scala解析器组合器，它是您需要停止计算器错误的东西。

[1] https://github.com/djspiewak/gll-combinators