什么是tf.bfloat16“截断的16位浮点”？

Question

tf.float16和tf.bfloat16和https://www.tensorflow.org/versions/r0.12/api_docs/python/framework/tensor_types中列出的有什么不同？

另外，它们是什么意思的“量化整数”？

Answer 1

bfloat16是一种特定于tensorflow的格式，其设计更易于从float32转换。它与IEEE自己的float16不同，因此是新名称。

从sources：

// Compact 16-bit encoding of floating point numbers. This representation uses 
// 1 bit for the sign, 8 bits for the exponent and 7 bits for the mantissa. It 
// is assumed that floats are in IEEE 754 format so the representation is just 
// bits 16-31 of a single precision float. 
// 
// NOTE: The IEEE floating point standard defines a float16 format that 
// is different than this format (it has fewer bits of exponent and more 
// bits of mantissa). We don't use that format here because conversion 
// to/from 32-bit floats is more complex for that format, and the 
// conversion for this format is very simple. 

至于量化整数，它们被设计在训练网络来取代浮点加快处理。基本上，它们是实数的一种固定点编码，尽管选择的操作范围表示在网络的任何给定点观察到的分布。

更多关于量化here。