公式字段的减法存在BUG，无法运行小数点后的减法计算

登录

本帖最后由新小林于 2021-2-3 15:46 编辑

我原有工程文件太复杂，重新弄了个文件试了下，一样的问题，计算出来是小数点后N位数的一个数字，不知道怎么来的。

Joe.xu · 15725821270

本帖最后由 15725821270 于 2021-1-30 21:19 编辑

亲，这不是bug，这个是浮点运算的误差，你可以理解为计算机在二进制转换10进制的过程中产生的一个很微小的误差。可以参考下https://gcdn.grapecity.com.cn/fo ... 5&fromuid=52377

Joe.xu · Joe.xu

感谢大佬的支持

浮点数的误差的产生一般由于两个原因
1）由于计算机内部以二进制保存，所以十进制的有限位的小数，在计算机内部会是一个无限位的小数。
例如十进制的0.9虽然只有一位小数，转成2进制是无限循环小数0.1110011001100110011...
2）计算机保存浮点数的精度有限，例如float可以保留十进制最多7位（二进制23位）有效数字，double 可以保留十进制15~16位（二进制52位）有效数字。那有效数字以后的就被忽略了。
例如上面的0.9的表示受精度所限，精度以后的就被忽略了，这样
float时，它是0.89999998
double时，它是0.90000000000000002

Erik.Xue · Erik.Xue

感谢楼上的支持！
如果您的问题已解决，请及时更新帖子的状态为“已处理”，并设置最佳答案给有帮助到你的回复；
如果您的问题还未解决，欢迎跟帖补充；
如果您有新的问题，也欢迎创建新的求助帖。

		自动登录	找回密码
密码			立即注册

[已处理] 公式字段的减法存在BUG，无法运行小数点后的减法计算

本帖子中包含更多资源

3 个回复

评分

微信认证勋章

活字格认证

圣诞拼拼乐

悬赏达人

活字格高级认证

讲师达人

Wyn高级认证

Wyn认证

元老葡萄