floating-point-precision

1热度

1回答

我使用Java创建了一个地图编辑器。问题是，我对每个字节值都有步骤，所以地图不平滑。是否可以将BufferedImage栅格数据更改为浮点数据并在其上绘制浮点精度？

0热度

1回答

问题：在使用像PLSA机器学习算法的巨大浮点值被服用大量的时间我们的问题是。现在，我们如何才能将浮点精度降低到小数点后两位并进行数学运算？我们有什么：用以下命令numpy的初始化np.zeros（[2,4,3]，np.float） ndarray: [[[ 0.09997559 0. 0.89990234] [ 0. 0. 0. ] [ 0. 0.

1热度

2回答

浮点值的字符串数组可以正确地对负数进行排序，但使用sprintf，kernel.format等可以正确排序相同的值

为什么可以正确排序string.to_float值的数组，但是当'％ .3f'％string.to_float或者包括sprintf，Kernel.format在内的任何变体都可以使用？我该如何解决这个问题？我目前的工作，让你包含写满数字行的文本文件（例）是一个挑战： 1.123 -3.010 3.999 -2.199 -1.212 2.190 4.121 0.000 我的目标是对这些数字进行

2热度

3回答

机器epsilon与最少正数

浮点数表示中机器epsilon和最少正数之间的区别是什么？如果我尝试显示在若干行中的浮点数。是确切0和第一正之间（数其浮点可表示）和两个连续的数字之间的间隙的间隙，不同？哪一个比较小？以及这两个值取决于哪个因素（mantisa或exponent）？

1热度

1回答

CSS：0.1em === WTF，浮点不准确？

http://jsfiddle.net/7yda75v0/8/ 如果我打开小提琴在我的Mac书空气在最新的Chrome（38.0.2125.104）高度为，在Safari（7.0.3（9537.75.14））这是，在Firefox（32.0.3）。我的同事在几乎相同的机器上有（我的Mac有1.7Ghz，他的2.0Ghz）。 Mac书pro设备也有不同的价值。它看起来像一个浮点不准确，但为什么？

4热度

1回答

用C查找下一个IEEE 754可表示的数字（朝-INF）？

我正在尝试编写一个函数，该函数需要一个32位浮点数（已从32位二进制字符串转换而来）并返回以32位二进制形式表示的前一个浮点数。到目前为止，我已经从二进制转换为浮点，但是我有麻烦了解如何找到下一个可表示的IEEE 754值。你不能只减去可能的最小可表示值（000 0000 0000 0000 0000 0001）吗？另外，在找到最接近的可表示的二进制值之前，从IEEE 754转换为浮点的好处是什么

3热度

2回答

测试计算几何中的双精度数相等的一般策略

所以这似乎是一个重复出现的问题，我试图实现线段交叉和双连接边列表覆盖算法计算几何 de Berg等人现在，我使用下面的函数来测试两个值相等： private static final double absTol = 1e-14; private static final double relTol = 1e-10; public static final boolean areClose(

2热度

2回答

PHP立方根

的可靠计算这似乎是没有道理的，但我无法得到这个解决：我想计算基于给定的经验值（EXP）的水平。因此，我使用多维数据集根公式并向下舍入到下一个整数。当exp正好达到level^3时，达到下一个级别。级别的数量是无限的，所以我会避免有一个预先计算的查找表。当我使用标准PHP数学 floor(pow(10648, 1/3)) 它返回21，而不是22。这是错误的，因为21^3给出92161.其原因

-1热度

4回答

如何确保我的双重输出只有2个小数位？

我正在设计一个假设为ATM机的课程项目。该项目的参数有5个方法和一个主程序。一切似乎都运转良好，但经过进一步测试并存入更多资金后，新的余额变成了一个约有16位小数的数字。我没有使用任何除法和方法是简单的加减算术。这基本上是我得到了一些存款后。 Enter the number for one of the following choices. 1. Display Balance 2. De

0热度

3回答

Java减法浮点数是无穷大？

在我的调试器，我可以看到以下值： float min = -3.1931721E38 float max = 3.3434891E38 float temp = (max-min); 这将导致无穷大。这是为什么？（2-2^23）·2^127比临时变量大吗？