标准tokenfilter在Elasticsearch中做了什么？

Question

There are no examples in the documentation，我只是想知道什么期望从我给它的输入。

Answer 1

在Elasticsearch 0.16（Lucene 3.1）之前，标准标记过滤器是“标准化标准标记器提取的标记”。具体来说，它是删除's年底的单词和点的缩写词。所以，当时通过标准过滤器后Apple'sC.E.O将变成AppleCEO。从Elasticsearch 0.16（Lucene 3.1）开始，标准标记过滤器确实是nothing（至少在此刻）。它只是将令牌传递给链中的下一个过滤器。

Answer 2

下面是Lucene trunk的StandardFilter源代码片段。它什么都不做。

public final boolean incrementToken() throws IOException { 
    return input.incrementToken(); // TODO: add some niceties for the new grammar 
}