如何在Go中将编码转换为UTF-8？

Question

我正在开发一个项目，我需要将文本从编码（例如Windows-1256 Arabic）转换为UTF-8。

如何在Go中执行此操作？

Answer 1

您可以使用the encoding package，其中包括通过包golang.org/x/text/encoding/charmap（在下面的示例中，导入此包并使用charmap.Windows1256而不是japanese.ShiftJIS）支持Windows-1256。

下面是一个简短的例子，它将日语UTF-8字符串编码为ShiftJIS编码，然后将ShiftJIS字符串解码回UTF-8。不幸的是，由于操场上没有“x”包装，因此它不适用于操场。

package main 

import (
    "bytes" 
    "fmt" 
    "io/ioutil" 
    "strings" 

    "golang.org/x/text/encoding/japanese" 
    "golang.org/x/text/transform" 
) 

func main() { 
    // the string we want to transform 
    s := "今日は" 
    fmt.Println(s) 

    // --- Encoding: convert s from UTF-8 to ShiftJIS 
    // declare a bytes.Buffer b and an encoder which will write into this buffer 
    var b bytes.Buffer 
    wInUTF8 := transform.NewWriter(&b, japanese.ShiftJIS.NewEncoder()) 
    // encode our string 
    wInUTF8.Write([]byte(s)) 
    wInUTF8.Close() 
    // print the encoded bytes 
    fmt.Printf("%#v\n", b) 
    encS := b.String() 
    fmt.Println(encS) 

    // --- Decoding: convert encS from ShiftJIS to UTF8 
    // declare a decoder which reads from the string we have just encoded 
    rInUTF8 := transform.NewReader(strings.NewReader(encS), japanese.ShiftJIS.NewDecoder()) 
    // decode our string 
    decBytes, _ := ioutil.ReadAll(rInUTF8) 
    decS := string(decBytes) 
    fmt.Println(decS) 
} 

在日语的StackOverflow网站上有一个更完整的例子。该文本是日语，但代码应该不言自明：https://ja.stackoverflow.com/questions/6120

Answer 2

使用模块从golang.org/x/text。在你的情况下，这将是这样的：

b := /* Win1256 bytes here. */ 
dec := charmap.Windows1256.NewDecoder() 
// Take more space just in case some characters need 
// more bytes in UTF-8 than in Win1256. 
bUTF := make([]byte, len(b)*3) 
n, _, err := dec.Transform(bUTF, b, false) 
if err != nil { 
    panic(err) 
} 
bUTF = bUTF[:n]