公式字段计算带小数位

登录

本帖最后由隔壁老王于 2021-12-4 12:34 编辑

用公式字段
出现下面的情况 361*1.8=649.8后面几个零点1
这是啥情况

返工数量和单价的字段类型都设的是小数

VVANVI · VVANVI

round 四舍五入估计可以避免这个bug

隔壁老王 · 隔壁老王

VVANVI 发表于 2021-12-4 12:36
round 四舍五入估计可以避免这个bug

这不是舍还是入的问题，关键是这个计算结果是怎么来的，这种简单的公式总不能有错误吧，会有心里阴影的

VVANVI · VVANVI

外置库，还是内置库？SQLSERVER 使用 decimal 类型不会有这问题

隔壁老王 · 隔壁老王

VVANVI 发表于 2021-12-4 14:08
外置库，还是内置库？SQLSERVER 使用 decimal 类型不会有这问题

内置库

Lay.Li · Lay.Li

感谢大佬的反馈~
这边问题已经复现，给开发的同事反馈一下，有结果了及时给您回复哈

Lay.Li · Lay.Li

问题跟进您好，这个是由于计算机底层表示浮点数的限制所导致的问题，目前是无法避免的，只能说把那个单元格设置为只保留两位小数。

在浏览器中运行js代码也会的到相同的结果

详情您可以参考百度百科给的解释
浮点数

隔壁老王 · 隔壁老王

Lay.Li 发表于 2021-12-7 15:56
问题跟进您好，这个是由于计算机底层表示浮点数的限制所导致的问题，目前是无法避免的，只能说把那个单元格 ...

这个学问太深了，没能力和必要去过多研究了，只要不是错误计算就行了，否则会有心里阴影。。。

Lay.Li · Lay.Li

哈哈，后边有问题欢迎随时发帖交流哈，遇到不是期望的结果也欢迎随时反馈

		自动登录	找回密码
密码			立即注册

[已处理] 公式字段计算带小数位