活字格导入Excel数据（数万条数据的处理办法）

大家好，不知有没有人遇到过从Excel文件到系统的导入过程中，涉及批量数据处理或者数据量过大时造成前台页面假死或卡死，也许这篇帖子会是你的福音。
经过本人团队与活字格工程师胡耀、瑞瑞反复沟通，解决了当下我遇到的最大的难题。
需求背景：物流公司的订单管理系统   使用外联数据库 SQL SERVER 2008 R2 SP3   
需求内容：单个Excel处理量20000行，共计46列字段 ，根据数据库其他表的内容需要UPDATE对应字段做一些校验匹配
当前问题：前段导入Excel数据量大，在提交表格的过程中，大约需要1分钟前后（根据客户机的上行带宽不同时间略有不同），前台做了校验匹配，更是雪上加霜。
解决方案：
需要的工具或技能：
1：AccessDatabaseEngine.exe   SQL SERVER数据库链接Excel的一款官方接口文件（区分64位和32位   ）
安装完毕后 打开SQL SERVER  数据库   会出现一个新的访问接口 Microsoft.ACE.OLEDB.12.0 如果是 出现Microsoft.ACE.OLEDB.4.0   证明你下载的版本不对噢！

2：活字格前段页面调用存储过程   
新的解决方案会使用附件上传功能，配合一些前台代码的方式，截取文件名，通过参数形式调用后台存储过程进行数据查询和INSERT 插入工作 ，所以如果要使用该解决方案，需要会使用活字格调用存储过程
具体案例参照：https://gcdn.grapecity.com.cn/fo ... 6%B4%A2%B9%FD%B3%CC
或者直接在论坛中搜索“存储过程”
3：上传文件并通过上传过程截取对应的文件名称显示到页面上
具体操作参照： 导入上传Excel附件.fgcc (520.65 KB, 下载次数: 1341)

2018-12-1 18:28 上传

点击文件名下载附件
用途：为调用存储过程时给参数而使用
4：了解自己的上传文件路径去了哪里

设计器路径位于：打开资源文件夹后退两层
C:\ProgramData\Forguncy\it\3329\Designer\Upload
同理在发布到服务器后，服务器中也会存在一个这样的路径 具体的可以自己找一下  Upload  文件夹会在有附件后自己创建，如果未上传附件，则无法再Designer文件夹下看到 Upload




现在开始我的表演

创建一个存储过程，实际内容是在执行一个拼接的sql 语言 ，由于sql编辑器会自动校验sql语句的完整性，所以在存储过程中，我们通过一种文本拼接的方式，将几个参数拼接至一起，最终形成一段 inser into 语句  + SELECT * FROM EXCEL   
拼接完成后的打印结果
INSERT INTO O_DDJY_MX_01   --- 需要插入的订单表名称(DJBH,DJZTCODE,DJZTNAME,DDLXCODE,DDLXNAME,DDRQ,KHDDH,DDH,KEHMDCODE,KEHMDNAME,KEHSPCODE,KEHSPNAME,DDSL,SPGG,
SPDJ,SPJE,BZ,YWYDZ,YWYDH,YWY,QSPC,JZPC,sfzp)  --- 表中所有字段的排列

SELECT 'DD181121018' as DJBH,'01'AS DJZTCODE,'订单创建'AS DJZTNAME,''AS DJLXCODE,''AS DJLXNAME, *   
---- * 代表Excel 的所有字段，前面的自定义字段为我个人需求
FROM
OPENROWSET('Microsoft.ACE.OLEDB.12.0','Excel 12.0;Database=C:\OTWB\bb38d78a-9b96-4dcd-b844-9a26519efa65_订单导入(1).xlsx;hdr=yes;imex=1',sheet1$)   --- 查询接口的路径和文件名拼接语句    注意：最后的sheet1$ 代表我只识别Excel中Sheet1 页签的数据，其他数据不识别。


存储过程拼接好了以后，可以进行一下查询测试，基本上会遇到各类问题，百度一下，瞬间解决。


原贴灵感来自：https://www.cnblogs.com/qingsong-do/p/3905567.html


做好存储过程前台需要增加一个JS调用存储过程按钮

然后发布应用。

经过本人实测，1万条数据大约需要3秒导入至数据库，连带展现前台页面，共计花费5秒钟时间。


本人有写的不详细的地方，欢迎各位格友回帖或者加QQ787774088讨论切磋，我会在空闲时间把不详细的地方补充上。


着实认为活字格比较强大，我可不是托，而且梁瑞和胡耀为了我这个事情，连续沟通了好多天。

进来看看 看不懂默默的离开了 等我有能力看懂的时候再来吧

宋小猫 发表于 2019-4-12 16:49
进来看看 看不懂默默的离开了 等我有能力看懂的时候再来吧

一个产品，必须有大家普通功能，晋级功能，高级功能
这样玩起来才有意思嘛~

进来看看 看不懂默默的离开了 等我有能力看懂的时候再来吧

搞成文件写SQL读取一定是最快的
你这前端捣腾进来，已经耗时，你试试把他先保存到服务器上，然后后端导入
但是目前我们只要导入CSV的后端功能，你看看能不能客克服一下

   这是单单导入一个excel数据7个字段，13000条记录到页面一个空表格什么逻辑判断也没做，所耗费的时间和内存，有快速省内存的好方法吗？

515275362 发表于 2021-4-23 14:20
如果不是外联数据库，类似问题该怎么解决？外层循环遍历2万条数据的表格，内层遍历100条数据的表格，然后做 ...

补充：循环命令能不能在服务端做，前端做太浪费时间了，先从百万数据中筛出2万条左右的数据这就很耗费时间，而且必须显示筛出来的全部数据（不能不能遍历判断）。在加上遍历判断完了，内存飙升浏览器假死，而且要等接近半小时才能全遍历完成，这该怎么破，必须恶补服务端命令加存储过程？主要不知道这时间和内存都耗在哪了   大神救救我吧

如果不是外联数据库，类似问题该怎么解决？外层循环遍历2万条数据的表格，内层遍历100条数据的表格，然后做些比较，然后我的浏览器占用内存就狂飙，最多能飙到3-4g，各位大神这改怎么解决？   

cg6207 发表于 2019-4-16 21:11
高老板威武

你咋开始水贴了？

高老板威武