如何从UTF-8字符串的每个字符获取UNICODE代码？

使用C++ 11，我怎样才能从UTF-8编码std::string中获取文本中每个字符的Unicode值为uint32_t？如何从UTF-8字符串的每个字符获取UNICODE代码？

喜欢的东西：

void f(const std::string &utf8_str) 
{ 
    for(???) { 
     uint32_t code = ???; 

     /* Do my stuff with the code... */ 
    } 
}

是否假定主机系统区域设置为UTF-8可以帮助？ C++ 11提供哪些标准库工具来完成这项任务？

来源

2014-02-11 lvella

您可以将字符串简单地转换为UTF-32编码的一个，使用所提供的转换面和std::wstring_convert从<locale>：

#include <codecvt> 
#include <locale> 
#include <string> 

void foo(std::string const & utf8str) 
{ 
    std::wstring_convert<std::codecvt_utf8<char32_t>, char32_t> conv; 
    std::u32string utf32str = conv.from_bytes(utf8str); 

    for (char32_t u : utf32str) { /* ... */ } 
}

来源

2014-02-11 20:01:15

你知道怎么去，而不是UTF-8，的codecvt为系统本地编码？ – lvella

@lvella：您可以使用['mbrtoc32']（http://en.cppreference.com/w/cpp/string/multibyte/mbrtoc32）将系统的窄编码转换为UTF32。链接页面底部的表格显示了所有可用的组合。（[我不确定]（http://stackoverflow.com/questions/7562609/what-does-cuchar-provide-and-where-is-it-documented）如果''被广泛实施，但。） –

@lvella系统的本地编码而不是UTF-8？如果您的意思是像GB18030（另一种8位Unicode格式），那么您可以使用codecvt_byname或使用use_facet将其从语言环境中提取出来。 [这个例子]（http://en.cppreference.com/w/cpp/locale/wstring_convert/wstring_convert）展示了如何使用它构建一个wstring_convert。 – Cubbi

使用<utf8.h>从http://utfcpp.sourceforge.net/你可以编写：

static inline void fix_utf8_string(std::string& str) 
{ 
    std::string temp; 
    utf8::replace_invalid(str.begin(), str.end(), back_inserter(temp)); 
    str = temp; 
} 

static inline bool valid_utf8_cstr(const char*s) 
{ 
    if (!s) return false; 
    const char* e = s+strlen(s); 
    return utf8::is_valid(s,e); 
} 

static inline size_t 
utf8_length(const char*s) 
{ 
    if (!s) return 0; 
    const char* e = s+strlen(s); 
    return utf8::distance(s,e); 
} 


// apply a function to every code point, exiting if that function 
// gives true and return the number of visited code points 
static inline size_t 
utf8_foreach_if(const char*s, 
       std::function<bool(uint32_t,size_t)>f) 
{ 
    if (!s) return 0; 
    size_t ix=0; 
    const char*pc = s; 
    while(*pc) 
    { 
     const char*epc 
     = (pc[1]==0)?(pc+1):(pc[2]==0) 
       ?(pc+2):(pc[3]==0)?(pc+3):(pc+4); 
     uint32_t c = utf8::next(pc,epc); 
     if (f(c,ix)) break; 
     ix++; 
    }; 
    return ix; 
} 

static inline size_t 
utf8_foreach_if(const std::string& s, 
       std::function<bool(uint32_t,size_t)>f) 
{ 
    if (s.empty()) return 0; 
    size_t ix=0; 
    const char*pc = s.c_str(); 
    const char*epc = pc + s.size(); 
    while(*pc) 
    { 
     uint32_t c = utf8::next(pc,epc); 
     if (f(c,ix)) break; 
     ix++; 
    }; 
    return ix; 
}

这是从一些代码以GPLv3许可，我会在几周或几个月内释放提取。

来源

2014-02-11 19:57:10

如何从UTF-8字符串的每个字符获取UNICODE代码？

回答

相关问题