读书人

诡异的decimal呀!都来看看,顶者有分,该

发布时间: 2013-01-26 13:47:04 作者: rapoo

诡异的decimal呀!!!---都来看看,顶者有分
诡异的decimal呀!!!---都来看看

我靠越活越回旋了,decimal的精度是多少呢?我不知道,谁来告诉我下?

微软的官方参考在这里
http://msdn.microsoft.com/zh-cn/library/364x0z75.aspx





[system.decimal]::MaxValue
79228162514264337593543950335


[system.decimal]::MinValue
-79228162514264337593543950335





但结果有时候29位,有时候15位,是咋回事?
PS C:\Windows\system32\WindowsPowerShell\v1.0> [decimal]$(1111111111111111111111117/3)
370370370370370370370372.33333

PS C:\Windows\system32\WindowsPowerShell\v1.0> [decimal]$(1/3)
0.333333333333333


我只想要29位的decimal,但是这样赋值
[decimal]$aaaa = 370370370370370370370372.33333
结果却成了
370370370370370000000000
[解决办法]
decimal的精度没有错,以微软官方为准。至于你的问题,主要原因是字面量被当作double来处理了,导致精度下降。
[解决办法]
powershell不知道,C#需要加上m后缀,否则被视作double。
[解决办法]

引用:
powershell不知道,C#需要加上m后缀,否则被视作double。

正解

读书人网 >.NET Framework

热点推荐