2016-07-08 12 views
0

我使用spaCy与Python进行命名实体识别,但脚本需要在每次运行时加载模型,并且需要大约1.6GB的内存来加载它。
但1.6GB并非每次运行都可有可无。
如何将它加载到缓存或临时内存中以便使脚本运行更快?如何将spaCy模型保存到缓存?

回答

0

首先,如果你只做NER,你可以安装没有矢量的解析器。 这是可能给出该参数解析器到:

python -m spacy.en.download parser

这将防止700MB +手套矢量将被下载,减肥所需的单次运行的存储器。

那么,这取决于您对库的应用/使用情况。

如果您经常打电话,最好将spacy.load('en')传递到您的堆栈的开始加载的模块/类变量。

这会减慢你的启动时间,但spacy会准备好(在内存中)被调用。

(如果开机时间很大,可以做延迟加载)。