怎么通过活字格判断导入的数据是否重复？

登录

本帖最后由一直在寻找于 2020-5-2 19:59 编辑

这边需要每天去网站采集数据，导入活字格里面分析某刻款每天的销售数量，这个网站只显示最近10条销售记录，每天都会采集下来

现在有这么一个问题，采集的数据有可能会重复的，打个比方，如果后一天么没有新的下单数量或少于10条的下单记录，这样采集下来的数据就会和前一天的有重复，因为每天采集数据量大概有10万条左右，比较多，之前想到的办法是，把这些每天采集下来的数据直接导入SQL，在SQL里面用视图语句过滤重复数据，这里就考虑到数据量大，每次10万条，一个月就会300万条，也影响后期查询的性能，所以过滤重复这一项先在放在前面来做，就是能不能用活字格导入的时候排除这些之前数据库中已经有的数据，这样SQL的数据量也会小不少

这样的功能活字格能实现吗？

Eric.Liang · Eric.Liang

一直在寻找发表于 2020-5-10 18:38
好的，谢谢，我上面这个导入设置的是替换，为什么导入进去直接覆盖了，而不是判断是否有重复再导入？帮我 ...

你可以看下这里：https://help.grapecity.com.cn/pa ... ion?pageId=46172714

选择替换模式时，您必须指定一个或多个列作为主键，在导入Excel数据时，活字格将使用主键列数据作为查询信息来比较Excel和表格中的数据。

替换模式将基于Excel的数据覆盖表格的数据：

删除Excel中不存在但表格中存在的数据；
添加Excel中存在但表格中不存在的数据；
更新Excel和表格中都存在的数据。

cg6207 · cg6207

一般这种情况是设置主键啊
在导入excel的时候选择替换，把主键设置为基准列

一直在寻找 · 一直在寻找

cg6207 发表于 2020-5-3 08:36
一般这种情况是设置主键啊
在导入excel的时候选择替换，把主键设置为基准列

你好，像我这个情况是单独新建一个自动ID列设置主键好，还是把下单精确时间这一列设置主键好？

cg6207 · cg6207

一直在寻找发表于 2020-5-3 16:42
你好，像我这个情况是单独新建一个自动ID列设置主键好，还是把下单精确时间这一列设置主键好？

后者比较好

一直在寻找 · 一直在寻找

cg6207 发表于 2020-5-3 17:47
后者比较好

你好如果勾选两个基准列是不是且关系还是或关系？

cg6207 · cg6207

这个是联合主键的概念
如果有自增ID了，就不需要另一个主键了。因为没有意义，又浪费性能

一直在寻找 · 一直在寻找

cg6207 发表于 2020-5-4 09:35
这个是联合主键的概念
如果有自增ID了，就不需要另一个主键了。因为没有意义，又浪费性能

不行的，我这个NId字段是SQL里面的自增列，会提示这个

1818himis · 1818himis

一直在寻找发表于 2020-5-4 15:41
不行的，我这个NId字段是SQL里面的自增列，会提示这个

款号与下单精准时间都设置为基准列更合理吧

一直在寻找 · 一直在寻找

1818himis 发表于 2020-5-4 16:55
款号与下单精准时间都设置为基准列更合理吧

你好，请问一下基准列不一定是主关键词吧？

		自动登录	找回密码
密码			立即注册

[已处理] 怎么通过活字格判断导入的数据是否重复？

最佳答案

18 个回复

本帖子中包含更多资源

本帖子中包含更多资源

讲师达人

悬赏达人

元老葡萄

活字格认证

活字格高级认证

微信认证勋章

时代开发者征文活动