使用boost :: tokenizer与字符串分隔符

Question

我一直在寻找boost :: tokenizer，并且我发现文档非常薄。是否有可能将它标记为“海豚 - 猴子 - 狒狒”之类的字符串，并且让每个单词都成为一个标记，以及每个双重短划线都是一个标记？从例子中我只看到了单字符分隔符被允许。图书馆不够先进，不适合更复杂的分隔符？

Answer 1

看起来你需要编写你自己的TokenizerFunction来做你想做的事情。

Answer 2

一个选项是尝试boost :: regex。不知道与自定义标记器相比的性能。

std::string s = "dolphin--monkey--baboon"; 

boost::regex re("[a-z|A-Z]+|--"); 
boost::sregex_token_iterator iter(s.begin(), s.end() , re, 0); 
boost::sregex_token_iterator end_iter; 

while(iter != end_iter) 
{ 
    std::cout << *iter << '\n'; 
    ++iter; 
} 

Answer 3

使用iter_split允许您使用多个字符标记。下面 的代码将产生如下：

海豚
周一键
狒狒

#include <iostream> 
#include <boost/foreach.hpp> 
#include <boost/algorithm/string.hpp> 
#include <boost/algorithm/string/iter_find.hpp> 

    // code starts here 
    std::string s = "dolphin--mon-key--baboon"; 
    std::list<std::string> stringList; 
    boost::iter_split(stringList, s, boost::first_finder("--")); 

    BOOST_FOREACH(std::string token, stringList) 
    {  
     std::cout << token << '\n'; ; 
    } 

Answer 4

我知道主题是很老，但在谷歌上的链接显示时我搜索“的字符串提高标记生成器”

，所以我会加入我的TokenizerFunction的变种，以防万一：

class FindStrTFunc 
{ 
public: 
    FindStrTFunc() : m_str(g_dataSeparator) 
    { 
    } 

    bool operator()(std::string::const_iterator& next, 
     const std::string::const_iterator& end, std::string& tok) const 
    { 
     if (next == end) 
     { 
      return false; 
     } 
     const std::string::const_iterator foundToken = 
      std::search(next, end, m_str.begin(), m_str.end()); 
     tok.assign(next, foundToken); 
     next = (foundToken == end) ? end : foundToken + m_str.size(); 
     return true; 
    } 

    void reset() 
    { 
    } 

private: 
    std::string m_str; 
}; 

后，我们可以创建

boost::tokenizer<FindStrTFunc> tok("some input...some other input"); 

和使用，与通常的升压标记生成器