floating-accuracy

    1热度

    1回答

    pyinterval与平凡浮点的例子似乎没有工作

    这里可能有数百个关于浮点舍入错误的问题，解决方案应该是间隔算术，它有助于跟踪它们。正如我想试验这个，我尝试安装pyinterval。 不幸的是，它似乎并没有工作。对于浮点错误的这个简单例子，我期望的间隔有2个数字，比实际回答一个较高的和一个低碳（0.001）： >>> from interval import interval >>> interval(1.001)-1 interval([0
    python floating-point floating-accuracy intervals 2011-07-16

    0热度

    2回答

    我是否应该期望cuda应用程序在各代之间的输出差异？

    我有一些在特斯拉和费米芯片组上编译和测试的代码。在所有特斯拉代芯片（260,280，c1060）中，输出是一致的。在所有费米芯片（460-580，c2080）中，输出是一致的。 但是，在特斯拉和费米代之间，输出图像是微妙不同的。 这是预期的吗？代码中有浮点数学，精度是我第一次怀疑，但在Nvidia的文档中找不到任何提及。
    code-generation cuda floating-accuracy 2011-06-08

    4热度

    3回答

    在不同的机器之间使用浮动/双打时应该知道什么？

    我听说在不同的CPU上有浮动/双打有很多问题。 如果我想制作一款使用浮标的游戏，我如何确保每台机器上的浮动计算都完全相同，这样我的模拟在每台机器上看起来都完全一样？ 我也关心写/读文件或发送/接收float值到不同的计算机。必须进行哪些转换？ 我需要100％确定我的浮动值计算完全一样，因为即使计算中的细微差异也会导致完全不同的未来。这甚至有可能吗？
    c++ visual-studio-2008 floating-point floating-accuracy 2011-07-29

    4热度

    2回答

    R中的浮点问题？

    可能重复： Why are these numbers not equal? 的以下表达式，计算结果为0.1，被认为是大于0.1。 > round(1740/600,0) - 1740/600 [1] 0.1 > (round(1740/600,0) - 1740/600) <= 0.1 [1] FALSE //???!!??? > (round(1740/600,0) - 1740/60
    r floating-point floating-accuracy 2011-07-29

    2热度

    1回答

    /fp：快vs：fp：我可以遇到什么样的错误？

    我想知道我可以遇到什么样的错误，如果我设置/ fp：快速而不是fp：精确？ 我工作在MSV10 我执行/，*，+， - 操作双最大数字等于8，如1.4379294（货币汇率）。
    c++ floating-accuracy 2011-07-31

    2热度

    2回答

    减去并拢号

    为什么 <?php echo 194.95-194.94; ?> 输出 0.0099999999999909 缺少什么我在这里？这是PHP 5.2。
    php floating-point floating-accuracy floating-point-exceptions 2011-08-01

    1热度

    2回答

    浮点截断vs用手四舍五入

    我想将一个十进制转换为使用32位寄存器的浮点整数。我有手（铅笔和纸）要做到这一点，到目前为止我的号码是 1.11010110111100110100010011(base 2) x 2^26 现在我知道尾数只能存储2^23点的叮咬，所以我需要表现出来会是什么样使用四舍五入和没有四舍五入。我的问题是什么决定四舍五入？我知道截断会导致此 1.11010110111100110100010(base
    floating-point floating-accuracy 2011-06-14

    1热度

    3回答

    在Ruby on Rails中处理定点/精确十进制的最佳方法

    因此，我使用Ruby On Rails创建了一个时间跟踪应用程序，并将时间存储为表示小时的数字。 因为任何超过0.01（36秒）的小时都不相关，所以我只需要2个小数位。 我正在使用一个MySQL数据库与一个浮点数作为列类型。虽然这在大多数情况下都是有效的，但我偶尔会发现计算和舍入浮点数的错误。 我对我的选项做了一些研究，看到很多人推荐使用BigDecimal。由于我使用大量自定义数据库查询使用计算
    mysql ruby-on-rails ruby floating-accuracy fixed-point 2011-06-14

    4热度

    4回答

    IEEE 754：它究竟如何工作？

    为什么下面的代码和C中的代码一样？ float x = 2147483647; //2^31 printf("%f\n", x); //Outputs 2147483648 这里是我的思维过程： 2147483647 = 0 1001 1101 1111 1111 1111 1111 1111 111 (0.11111111111111111111111)base2 = (1
    c floating-point floating-accuracy ieee-754 2011-08-10

    3热度

    2回答

    NumberFormat解析问题

    我对将此字符串解析为Double时遇到的这种特殊“错误”感到非常困惑。 我已经设置了NumberFormat属性和符号。 当通过与15个数字和2位小数（例如：str = "333333333333333,33"） 一个字符串，并用Number num = NumberFormat.parse(str)解析它的结果是省略了数字。 num的实际值是3.333333333333333E14。 这似乎与字
    java floating-accuracy dataformat decimalformat 2011-08-16
最新问题