当文件大小大于1GB时，Gson.toJson抛出NullPointerException

Question

我试图用Java写入Json格式，但当文件大小> 1GB时遇到NullPointerException。任何人都可以帮助我解决这个问题吗？

该代码不断生成Json文件，并且文件的大小不断增加。一旦文件大小> 1GB，代码将抛出异常，如下所示。我使用不同的数据集进行测试，所以我不认为这是数据问题。我的猜测是Java中的Gson.toJson有一个大小限制。

我的代码是：

private HashMap<String,HashSet<Token>> tokenCounter = new HashMap<String,HashSet<Token>>(); 

.... 

private void writeToFile(){ 
    try { 
    PrintWriter out = new PrintWriter(outputFileName); 
    out.println(gson.toJson(tokenCounter)); 
    out.close(); 
    } catch (IOException e) { 
     e.printStackTrace(); 
    } 
} 

它抛出一个例外是：

java.lang.NullPointerException 
    at java.lang.String.<init>(String.java:301) 
    at java.lang.StringBuffer.toString(StringBuffer.java:790) 
    at java.io.StringWriter.toString(StringWriter.java:204) 
    at com.google.gson.Gson.toJson(Gson.java:481) 
    at com.google.gson.Gson.toJson(Gson.java:460) 
    at com.ebay.classification.discovery.DailyDiscovery.writeToFile(DailyDiscovery.java:181) 
    at com.ebay.classification.discovery.DailyDiscovery.run(DailyDiscovery.java:169) 
    at com.ebay.classification.discovery.TestDailyDiscoveryContinue.run(TestDailyDiscoveryContinue.java:142) 
    at com.ebay.classification.discovery.TestDailyDiscoveryContinue.main(TestDailyDiscoveryContinue.java:245) 

Answer 1

发布的回答为避开在注释格式问题。

2^30字符的数组将是2^31个字节。作为一个单一的字符串，这是巨大的！需要问的明显的问题是，为什么你的代码：

PrintWriter out = new PrintWriter(outputFileName); 
out.println(gson.toJson(tokenCounter)); 
out.close(); 

这可以很容易地写为：

FileWriter out = new FileWriter(outputFileName); 
gson.toJson(tokenCounter, out); 
out.flush(); 
out.close(); 

这没有显著内存的影响，并会快很多。

这不回答这个问题，为什么你在一个大的StringWriter获得NPE，不过，坦率地说，你在做什么是荒谬的....