读书人

见鬼有个项目浮点数计算出现精度丢失

发布时间: 2012-03-31 13:13:26 作者: rapoo

见鬼,有个项目浮点数计算出现精度丢失
用一款软件的sdk在VC里做开发,里面自己的类里面需要计算两条直线的交点,用了double,于是悲剧了。
一个6位数和一个四位数相乘得到一个十位数(都是整数,怕个别会超范围所以全用了double),但十位数就是不对,给人的感觉是精度丢失。
把相同的计算代码在监视窗口和立即窗口输出都是正确结果;把代码和数值拷到一个命令行程序里运行也没出现精度问题。

难道项目属性的设置或头文件的调用还会影响double的计算精度?疯了要

[解决办法]
可以用数组去存储每一位。网上有类似代码。
[解决办法]
见过某库默认使用double浮点,而如果#define某值,则使用float浮点

探讨
难道项目属性的设置或头文件的调用还会影响……

读书人网 >C++

热点推荐