weka StringToWordVector限制字长度

Question

在weka中使用StringToWordVector过滤器，如何限制单词的长度（例如，只保留包含至少两个字符的单词）？

Answer 1

我不确定你是否可以用标准的StringToWordVector来做到这一点。但是你可以实现你自己的过滤器。既然你要做的和StringToWordVector类没什么不同，你可以继承它并覆盖方法input。

这里是在代码中使用过滤器从documentation的一个示例：

Filter filter = new MyStringToWordVector(); 
    Instances instances = ..some instances.. 
    for (int i = 0; i < data.numInstances(); i++) { 
    filter.input(data.instance(i)); 
    } 
    filter.batchFinished(); 
    Instances newData = filter.outputFormat(); 
    Instance processed; 
    while ((processed = filter.output()) != null) { 
    newData.add(processed); 
    } 
    ..do something with newData.. 

替代地可以使用StringToWordVector代替您的过滤器，但更改以下列方式筛选上面的代码的一部分：

StringToWordVector filter = new StringToWordVector(); 
int attrNum = Integer.parseInt(filter.getAttributeIndices()); 
for (int i = 0; i < data.numInstances(); i++) { 
    Instance instance = data.get(i); 

    String str = instance.stringValue(attrNum); 
    // Apply your logic here 
    if (str.length > 2) { 
     filter.input(data.instance(i)); 
    } 
} 

Answer 2

看起来像删除属性使用“RemoveByName”过滤器可以在应用StringToWordVector过滤器后执行。该过滤器根据与其名称匹配的正则表达式来删除属性。