9.0.3版本 22万行的EXCEL表格数据表保存慢的问题

David.Zhong

我用了页面表格导入和后端导入2种方式，前端导入表格很快，提交表格40分钟还在转圈。
后端导入EXCEL到中间表，然后保存到目标数据表也用了40分钟。

有什么办法可以解决这个问题吗？

David.Zhong · David.Zhong

大佬做这个同步的操作应该也不会太频繁吧？具体场景是什么呢？
如果只是需要比如说一天做一次的话，可以考虑用定时任务在晚上来做这个操作，那么时间就不是那么重要了。
另外也可以考虑是否可以做成异步的，同步的逻辑做到后台，等同步好了，再查看。
大佬可以考虑下。
另外如果希望进一步优化性能的话，大佬可以提供下excel和工程文件，在产品需求版本提个帖子，后续可以交给开发研究一下。

Syl · Syl

本帖最后由 Syl 于 2023-6-13 17:13 编辑

数据量太大了吧，一次性保存22W条。

呼叫管理

VVANVI · VVANVI

撸代码效率会高一些

David.Zhong · David.Zhong

看看这个方案？
活字格导入Excel数据（数万条数据的处理办法）
https://gcdn.grapecity.com.cn/showtopic-51922-1-1.html
(出处: 葡萄城产品技术社区)

老冯 · 老冯

如果服务端导入EXCEL文件67000左右要用280秒，比前段表格导入提交的速度没有优势，为啥要费劲搞个服务端导入呢？

David.Zhong · David.Zhong

各有应用场景，大佬的核心问题是数据量太大了，可以参考楼上格友的方案。

服务端命令还有一个好处是可以设置为异步执行。

老冯 · 老冯

David.Zhong 发表于 2023-6-14 09:55
各有应用场景，大佬的核心问题是数据量太大了，可以参考楼上格友的方案。

服务端命令还有一个好处是可以 ...

几万行数据在两个系统之间传递是很经常的，如果都在数据库服务器上去做这个动作，本身就对数据库服务器依赖太多了，以后迁移就不方便，而且我们没有权限去数据库服务器上加这个存储过程。还是希望活字格有解决办法，在服务端完成。

Lay.Li · Lay.Li

感谢大佬的反馈~
这个需求我们给产品经理反馈一下，不过论操作数据库的速度的话，还是sql语句是最快的，活字格的服务端命令大部分最终也是转换为sql语句去执行的。
如果没有权限加存储过程的话，可以试试看能不能直接使用执行sql命令去实现

老冯 · 老冯

我参考你推荐的方案，将EXCEL文件转换成TXT后的路径作为变量拼接了一个SQL语句。="load data local infile "&"""&Item&"""&" into table 导入中间表 fields terminated by ',' "执行后它出的提示是不允许。如果文件放在数据库服务器上，这个指令执行没有问题。从本地上传的就不行，是否活字格要往数据库服务器传文件要做些什么设置才OK？

		自动登录	找回密码
密码			立即注册

[已处理] 9.0.3版本 22万行的EXCEL表格数据表保存慢的问题

最佳答案

12 个回复

本帖子中包含更多资源

本帖子中包含更多资源

活字格认证

活字格高级认证

微信认证勋章

讲师达人

悬赏达人

圣诞拼拼乐

时代开发者征文活动