dilatory:) 发表于 2024-2-26 19:52:35

活字格计算小数位精度问题

(787*1092*60*202.24*500)/1000000000000=5.2141759488000(保留13小数位),但是在活字格的计算精度算出的值为5.2141759490000(保留13小数位),这种现象如何解决？请高人指点:)

stranger 发表于 2024-2-26 19:52:36

dilatory:) 发表于 2024-2-26 20:56
这个计算出来是这个数值5.214175949





stranger 发表于 2024-2-26 20:45:00

本帖最后由 stranger 于 2024-2-26 20:47 编辑








dilatory:) 发表于 2024-2-26 20:56:33

本帖最后由 dilatory:) 于 2024-2-26 20:59 编辑

stranger 发表于 2024-2-26 20:45

这个计算出来是这个数值5.214175949

Nathan.guo 发表于 2024-2-27 18:03:30

大佬可以参考楼上的方案，同时呢，活字格的处理策略和excel是一致的，大佬可以百度搜下excel的解决方案，直接应用在活字格中即可
页: [1]
查看完整版本: 活字格计算小数位精度问题