【7.0.00262.0】【StDev函数求值错误】

收藏

我现有6条数据，其中AnalyteRetentionTime都为1.08，InternalStandardRetentionTime都为0.966 求标准列差函数StDev 算出来的结果应该一致，但是StDev(AnalyteRetentionTime) 算出的结果是0 ，StDev(InternalStandardRetentionTime)算出的结果是NaN；

image.png40151976.png

Bella.Yuan · Bella.Yuan

Bella.Yuan 发表于 2023-11-7 10:56
您好，根据您提供的数据，本地已复现，我们调查一下给您回复。

您好，这是 double 类型的特定问题（计算错误），您可以查看下面的两个文章来更好的理解该问题：
https://stackoverflow.com/questions/40368849/how-can-i-round-double-values
https://stackoverflow.com/questions/24450918/wrong-sum-of-doubles-in-vb-net
针对该问题，目前需要使用ToDecimal函数转换一下，对应的表达式如下：

{StDev(ToDecimal(I))}

复制代码

设计和预览效果如下图示：

image.png540227660.png

Bella.Yuan · Bella.Yuan

您好，根据您提供的数据，本地已复现，我们调查一下给您回复。

		自动登录	找回密码
密码			立即注册

[已处理] 【7.0.00262.0】【StDev函数求值错误】

2 个回复

Wyn高级认证

Wyn认证