怎么在海量数据中去重复数据？

登录

每天都会从一个电商网站采集各个商品的销售数据，该网站的销售数据只显示最近下单的10条
我通过采集软件把他货号【也就是上面的标题字段】，数量，下单时间，采集下来的数据导入到活字格分析，现在碰到这么一个问题

就是两天或多天的采集数据中有可能碰到重复的数据，如上图所示，黄色部分就是重复的数据，实际只要其中计算其中一次就好，最终合并之后应该如下显示：

在活字格里面怎么实现这种去重复数据？

lijetcart · lijetcart

这2个都存入了火之歌表中?
那就 select distinct A from 表1 union all select distince B from 表2

风从北来 · 风从北来

用excel去除重复项，导入数据库，我是这么干的。

一直在寻找 · 一直在寻找

风从北来发表于 2018-10-31 07:31
用excel去除重复项，导入数据库，我是这么干的。

我是每天采集完都需要导入到数据库的，excel去重不行，当天的数据是没有重复的，只有把多天的数据放到一起才有可能重复

一直在寻找 · 一直在寻找

lijetcart 发表于 2018-10-31 02:37
这2个都存入了火之歌表中?
那就 select distinct A from 表1 union all select distince B from 表2

可能我表达的不是很清楚，以上所示，是我每天通过采集软件采集之后导出到EXCEL表格的数据，导入到活字格。通过活字设计一个数据分析系统，现在就是有一个问题，就是同一个款号，今天采集的数据和昨天的采集或前几天采集的数据，可能会存在重复数据，这个时候数据都已经导入到活字格中，应该是活字格怎么把这些去重复之后的数据提取出来在做分析之用？不知道能实现不？

Tracy.Liu · Tracy.Liu

您好，视图应该是可以实现的。麻烦您上传上2-3天的采集到的原始格式的数据，这边确定一下。

一直在寻找 · 一直在寻找

Tracy.Liu 发表于 2018-10-31 09:52
您好，视图应该是可以实现的。麻烦您上传上2-3天的采集到的原始格式的数据，这边确定一下。

已上传三个表格，请查看

Tracy.Liu · Tracy.Liu

一直在寻找发表于 2018-10-31 13:01
已上传三个表格，请查看

您好，您可以通过视图实现，详见demo。

一直在寻找 · 一直在寻找

Tracy.Liu 发表于 2018-10-31 14:55
您好，您可以通过视图实现，详见demo。

我用的是SQL数据库，这个只支持活字格内置表的吗？还是哪里设置有问题?

Eric.Liang · Eric.Liang

一直在寻找发表于 2018-11-2 22:43
我用的是SQL数据库，这个只支持活字格内置表的吗？还是哪里设置有问题?

SQL SERVER的视图需要在SQL SERVER去创建。除了视图之外你可以直接通过统计字段完成你的需求。请参考附件工程文件。

		自动登录	找回密码
密码			立即注册

[已处理] 怎么在海量数据中去重复数据？

本帖子中包含更多资源

10 个回复

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

活字格高级认证

活字格认证

悬赏达人

微信认证勋章

讲师达人

元老葡萄