读书人

计算时精度导致的小错误

发布时间: 2012-07-05 07:59:18 作者: rapoo

计算时精度导致的小异常
今天发生了0.0037775进位为6位的时候,出现了3.377的怪现象。
总也查不出来原因无论怎么round都没用。给的还是3.377。

最后发现原来计算的结果精度很高,是0.0037774999999虽然显示的是0.0037775,进位的时候就会发生这种情况。

解决方法是先round 第7位,再round第六位

读书人网 >其他数据库

热点推荐