什么是自然语言处理中的特征生成器

Question

谁能告诉我什么特征生成器与自然语言处理器有关？

Answer 1

如果我正确阅读这篇文章，我相信这篇引文中的“功能生成”指的是从文本中提取功能的过程。不用过多详细说明，这基本上可以获得您认为对您的预测/分类任务有用的数据维度，并将其放入向量表示中。

例如，假设我们试图创建一个分类器来确定电子邮件是否为垃圾邮件。我们可能会提取诸如CONTAINS_WORD_NIGERIA或IS_FROM_PERSON_IN_CONTACT_LIST的功能。或者，如果我们要遵循上面的引用，我们可能会使用诸如PERCENT_OF_WORDS_IN_HREF_TAG之类的html标签来制作专门的功能。正如你可能想象的那样，当功能设计时你可能会过度，而真正的挑战在于优化你的功能集，以便在不可见的数据上给出好的结果。