将大文件读入内存以进行word2vec转换

Question

我正在尝试将大型.log文件（具有超过六万行）读入内存。我想应用在gensim中实现的Word2Vec算法。我尝试了很多解决方案，但是他们都没有工作。任何帮助，将不胜感激。

代码1：

​​3210

代码2：

for i,line in enumerate(open(file_obj,'r')): 
     print(i,line) 
     sentences += line 

Answer 1

您需要大块的文件不知何故。由于您的文件是基于行的，因此您可以使用python的正常行分块（即for line in file）。您正在运行到问题是，这

​​3210

加载整个文件到您的return语句。

而不是这样做，您需要在读取该行的同时组装矢量。当你遇到每个单词时，在那里做停用词移除和注释，如果剩下任何东西，就把它添加到你的矢量中。

或者，如果每个单词需要更多上下文，则逐句处理它。在任何一种情况下，在阅读器中进行处理，而不是从文件中收集所有数据，然后对其进行处理。