如何标记没有空格分隔符的连续单词？

Question

我使用Python与nltk。我需要用英文处理一些没有任何空格的文本，但是nltk中的word_tokenize函数无法处理这样的问题。所以如何标记没有任何空格的文本。 Python中是否有任何工具？

Answer 1

我不知道这些工具，但问题的解决方案取决于语言。

对于土耳其语言，您可以逐字逐行扫描输入文本，并将字母累加到单词中。如果您确定累积的单词是从字典中形成的有效单词，请将其另存为单独的令牌，然后擦除缓冲区以累积新单词并继续此过程。

你可以试试这个英文，但是我认为你可能会发现一个单词的结尾可能是某个词典单词的开头，这会导致你一些问题。

Answer 2

也许Viterbi algorithm可以帮忙吗？没有确定性......但可能比手动完成更好。

这回答另一个问题，SO（以及其他高投票答案）可以帮助：https://stackoverflow.com/a/481773/583834