隔壁老王 发表于 2021-12-4 12:29:30

公式字段计算带小数位

本帖最后由 隔壁老王 于 2021-12-4 12:34 编辑

:(用公式字段
出现下面的情况361*1.8=649.8后面几个零点1
这是啥情况




返工数量和单价的字段类型都设的是小数

VVANVI 发表于 2021-12-4 12:36:52

round 四舍五入估计可以避免这个bug

隔壁老王 发表于 2021-12-4 14:05:20

VVANVI 发表于 2021-12-4 12:36
round 四舍五入估计可以避免这个bug

这不是舍还是入的问题 ，关键是这个计算结果是怎么来的 ，这种简单的公式总不能有错误吧，会有心里阴影的

VVANVI 发表于 2021-12-4 14:08:31

外置库 ，还是内置库？SQLSERVER 使用decimal 类型不会有这问题

隔壁老王 发表于 2021-12-4 14:39:02

VVANVI 发表于 2021-12-4 14:08
外置库 ，还是内置库？SQLSERVER 使用decimal 类型不会有这问题

内置库

Lay.Li 发表于 2021-12-6 17:44:47

感谢大佬的反馈~
这边问题已经复现，给开发的同事反馈一下，有结果了及时给您回复哈:loveliness:

Lay.Li 发表于 2021-12-7 15:56:26

问题跟进您好，这个是由于计算机底层表示浮点数的限制所导致的问题，目前是无法避免的，只能说把那个单元格设置为只保留两位小数。:loveliness:
在浏览器中运行js代码也会的到相同的结果

详情您可以参考百度百科给的解释
浮点数

隔壁老王 发表于 2021-12-7 16:08:18

Lay.Li 发表于 2021-12-7 15:56
问题跟进您好，这个是由于计算机底层表示浮点数的限制所导致的问题，目前是无法避免的，只能说把那个单元格 ...
这个学问太深了，没能力和必要去过多研究了，只要不是错误计算就行了，否则会有心里阴影。。。

Lay.Li 发表于 2021-12-7 17:25:40

哈哈，后边有问题欢迎随时发帖交流哈，遇到不是期望的结果也欢迎随时反馈:loveliness:
页: [1]
查看完整版本: 公式字段计算带小数位