floating-point-precision

0热度

1回答

我有一个Double数据类型列的MySQL表，当我插入一个Java Double中包含的值时，我总是得到一个截断错误。 MRZ 19，2015年上午11点26分〇〇秒databaseimport.MyImport的executeQuery SCHWERWIEGEND：空值java.sql.SQLException：数据截断 '分享' 柱1行我试图改变列的DOUBLE PRECISION（30,3

2热度

1回答

“GL_HALF_FLOAT”使用OpenGL渲染和GLSL

我正在用C++编程OpenGL渲染器。我希望它尽可能高效，并且每个顶点/普通/ UV tex坐标/切线/等都要占用尽可能少的内存。我正在使用索引，线条和粉丝。我认为32位浮点数不是必须的，16位浮点数应该没问题，至少对于像法线和UV这样的一些浮点。我似乎无法在任何地方找到任何这方面的例子。我可以找到关于“GL_HALF_FLOAT”的讨论，但没有真正的例子。我在正确的轨道上吗？或者这不值得寻找？如

0热度

1回答

OpenCL，C++：简单和浮点向量程序的意外结果

这是一个简单的程序，它从文件读取两个float4向量，然后计算相反数字的和。它的结果没有预料到！主文件： #include <limits.h> #include <stdio.h> #include <stdlib.h> #include <iostream> #include <iomanip> #include <array> #include <fstream> #inc

2热度

1回答

在MATLAB中使用OpenGL渲染器不正确的绘图

我试图用OpenGL在图上绘制大量数据。我想使用这个渲染器，因为它是唯一支持透明度的渲染器。数据正在绘制正常，但是一旦放大连接数据点的线路就不能正确排列，如下所示：我测试过使用Painters和Zbuffer绘制数据并且线路正确连接数据当放大数量相同时。这是Zbuffer生成的（画家看起来完全相同，但是具有较重的网格线）：您可以使用下面的代码重新创建问题。请注意，这不会创建如图所示的完全相同的

-3热度

1回答

IEEE-754单精度浮点数mips

如何以IEEE-754单精度以十六进制格式编写-2^-132？

0热度

1回答

我的矩阵乘法与BLAS的精度不同

我在C++中编写了一个矩阵乘法程序，并将其用于特征值求解器中。然后我意识到我的实现有精度问题，即使我已经使用双精度浮点。看来我的实现的结果没有足够的精度。我用BLAS测试了它，发现它的结果与BLAS的不匹配。下面的简单代码说明了问题并具有以下输出。 0: 0 1: 0 2: -1.42109e-14 test: test.cpp:59: int main(): Assertion `C1[i

2热度

1回答

为什么我们不能在OpenGL和DirectX中使用更小的浮点类型？

低于10位浮点数有什么问题？为什么我们没有8位浮点数？我可以想象，如果glfloat用于颜色，它会如何影响结果，但我无法想象它是如何影响顶点的。我们放大物体时是否会出现问题？是，GPU把这么多的值作为32个值，甚至是OpenGL的Redbook建议我们用半漂浮只要有可能，但我怎么能知道我的精度下限？

0热度

3回答

如何在C++中将变量四舍五入到小数点后n位

我有一些float变量会产生像1.23456789这样的值。我想把它四舍五入到小数点后四位。 setprecision函数只是舍入输出，但我想更改变量本身的值。所以我在寻找类似 x=roundoff(x,n) ，其中舍入将四舍五入X到n位小数。

0热度

1回答

如何获得精确的划分？

我试图用Python获得精确的划分而没有成功。 104101/2给52050而我需要52050.5 我也试过"%0.2f" % (104101/2)这是给我'52050.00'。 Javascript对应的作品。任何想法对我有什么不好？

2热度

1回答

使用GMP精确丢失

我有一个程序，它将字符串中的数字读入到mpz_t中，然后将其转换为mpf_t。尽管从文件中正确读取，但我将它们转换为mpf_t时会出现精度损失。代码如下： #include <gmp.h> #include <stdlib.h> #include <stdio.h> int main (int argc, char **argv) { char* str = "632512364