计算UTF8转换所需字节数的正确方法是什么？

Question

我需要计算一个子字符串将被转换为UTF8字节数组的大小（以字节为单位）。这需要发生，而实际上并没有对该子字符串进行转换。不幸的是，我正在使用的字符串非常大，我必须小心，不要在内存中创建另一个大字符串（或字节数组）。

Encoding.UTF8对象上有一个名为GetByteCount的方法，但我没有看到一个重载，它不需要将字符串复制到一个字节数组中。这不适用于我：

Encoding.UTF8.GetByteCount(stringToCount.ToCharArray(), startIndex, count); 

因为stringToCount.ToCharArray（）将创建我的字符串的副本。

这就是我现在所拥有的：

public static int CalculateTotalBytesForUTF8Conversion(string stringToCount, int startIndex, int endIndex) 
{ 
    var totalBytes = 0; 
    for (int i = startIndex ; i < endIndex; i++) 
    totalBytes += Encoding.UTF8.GetByteCount(new char[] { stringToCount[i] }); 

    return totalBytes; 
} 

的GetByteCount方法似乎并不不得不采取在短短的焦炭的能力，所以这是我在妥协。

这是确定一个字符串的字节数正确的方式，转换为UTF-8之后，实际上并没有这样做的转换？还是有更好的方法来做到这一点？

Answer 1

似乎没有成为这样一个内置的方法，让你既可以自己分析字符或做那种你在上面做的事情。我唯一会建议 - 重用一个char [1]数组，而不是建立在每次迭代的新数组。这里有一个扩展方法，可以很好地使用内置方法。

public static class EncodingExtensions 
{ 
    public static int GetByteCount(this Encoding encoding, string s, int index, int count) 
    { 
     var output = 0; 
     var end = index + count; 
     var charArray = new char[1]; 
     for (var i = index; i < end; i++) 
     { 
      charArray[0] = s[i]; 
      output += Encoding.UTF8.GetByteCount(charArray); 
     } 
     return output; 
    } 
} 

Answer 2

因此，有不需要主叫用户首先创建一个字符数组的过载：Encoding.GetByteCount Method (Char*, Int32)

的问题是，这不是一个符合CLS的方法，并会要求你做一些外来编码：

public static unsafe int CalculateTotalBytesForUTF8Conversion(
    string stringToCount, 
    int startIndex, 
    int endIndex) 
{ 
    // Fix the string in memory so we can grab a pointer to its location. 
    fixed (char* stringStart = stringToCount) 
    { 
     // Get a pointer to the start of the substring. 
     char* substring = stringStart + startIndex; 

     return Encoding.UTF8.GetByteCount(substring, endIndex - startIndex); 
    } 
} 

关键的东西这里要注意：

• 的方法有被标记为不安全的，因为我们正在处理指针和直接内存操作。
• 字符串是为了防止运行时移动它固定在呼叫持续时间 - 它为我们提供了一个恒定的位置指向，但它可以防止运行时做内存优化。

您应该考虑在此方法上进行彻底的性能分析，以确保它比仅将字符串复制到数组时更好的性能分布。

基本分析（执行我的台式机上按顺序算法控制台应用程序）示出了这种方法执行〜比遍历字符串或将其转换成字符阵列快35倍的比特。

• 使用指针：〜86ms
• 循环过串：〜2957ms
• 转换为字符数组：〜3156ms

把这些数字与一撮盐，并且还考虑其他因素除了执行速度之外，如长期执行开销（即在服务进程中）或内存使用情况。