个人永久性免费-excel催化剂功能第20波-excel与sqlserver零门槛交互-数据上传篇

Excel催化剂 Excel催化剂     2022-11-29     541

关键词:

Excel作为众多数据存储的交换介质,在不同的系统内的数据很少可以很连贯地进行整合分析,一般的业务系统都会提供导出Excel作为标配功能供用户使用系统内生成的数据。

此时最大的问题是,Excel很维去成为各个数据源的整合方,其数据存储能力和运算能力一直是众多深度Excel用户们一大头痛的事情,当数据量一大,做什么操作都会慢下来。

今天Excel催化剂将给大家带来全新的解决方案,Excel与Sqlserver深度集成,在Excel上的数据源能轻松上传至Sqlserver中,实现以Sqlserver为中心的数据中心的架构,为各系统内的数据实现整合成为可能!

使用场景

在IT行业蓬勃发展20年后,目前广大的中小企业们也基本上业务系统化,每个业务场景都有相应的业务系统来搭配使用,但遗憾的是大部分的系统是没法互相打通的,很容易形成企业内的数据孤岛现象,例如订单系统、人事系统,仓库系统,还有如今电商时代下,各式各样的电商平台,提供给企业各式各样的系统相关的格式不一的数据。

同样地一个庞大的数据来源是各个业务部门业务人员手头上用Excel表格手头维护着的一些数据,区别于系统内的静态不变维护周期慢致使数据准确性有限的数据,业务人员自行维护的数据通常更有数据的使用价值,例如:系统内定义的商品信息,仅简单的一些商品属性如商品年份、商品品类、价格等,业务人员手里的数据是商品参加过什么活动,商品的畅滞销状况,商品的主推与否等和运营过程中息息相关的非常有分析价值的数据。

目前可行的方式是:在各个系统里手工导出所要的数据,再进行数据加工整合,这些整合工作落在Excel上,简单任重道远,Excel的设计初衷也不是为了整合这些大块头的数据源。大规模的数据更适合的处理场景莫过于使用数据库的方式。

一般用户对数据库的驾驭能力有限,不能指望普通用户可以无痕地在Excel与数据库两者之间自由切换。借助Excel催化剂,仅需少量IT人员的技术支持,就能实现在各种系统内导出的Excel文件、业务人员手头维护的Excel文件等数据,轻松上传到数据库中存储。

建立数据仓库,多种数据源整合存储不再是遥远的梦想。

业务人员与IT技术人员分工

业务人员职责

  • 有一定的数据库的管理数据思维,如: 同一主题的数据使用一个表存储,每一列的数据类型要相同,数据类型分为文本数字,日期三大类。
  • 收集各系统内的导出数据,尽量按主题整理好成为一张大表数据,如电商平台导出的不同主题的分散在多个Excel文件的数据,按同一主题合并多个Excel文件的数据至一个工作表中存放,可使用Excel自带的官方PowerQuery插件轻松实现。

IT人员职责

  • 开通数据库访问权限,可有限度地仅开通查询、删除、插入指定表的权限,减少数据库管理风险。
  • 根据业务人员提供的数据源表结构,在数据库中新建对应的表用于业务人员上传数据至数据库中存放。
  • 后期多表数据整合,可根据业务人员需求,把多个表的数据进行关联查询,返还业务人员一个视图,供业务人员对上传的数据进行自行查阅使用(使用第19波查询篇可自助操作完成)

视频演示

后期将推出直播课程,可私信我获取直播地址或视频地址

具体操作流程

先在Excel上把要上传的数据以智能表的形式存放

Excel智能表的使用,可以让数据管理和维护更加方便智能,可以找寻相关资料学习它的好处,强烈建议日常使用中多多使用智能表。

技术图片
先创建一个智能表
按Excel智能表上的列名称及数据类型,在Sqlserver上建立表
  1. Sqlserver上建表过程中,可对表进行一些索引、主键等额外设置,可用于检验Excel表上传上来的数据是否和预期的主键信息一致,防止Excel表的数据不严谨出现重复数据等
  2. 同时在Sqlserver预留了两个字段 【数据上传时间】和【UploadTime】,用于上传数据过程中检验是否上传成功和后续对重复数据进行去重处理时的依据。
  3. Sqlserver上表的字段名称需和Excel智能表的列名一致,顺序不作要求。


    技术图片
    在Sqlserver上的SSMS上建表操作
选定需上传的智能表任一单元格,点击【SQL数据上传】

当没有选定智能表任一单元格时,需要在点击【SQL数据上传】出现的对话框中选择需要上传的是哪个智能表,一般建议操作流程是需要上传哪个表,就跳转到哪个表所在的工作表,并选择智能表任一单元格,好让程序知道你要上传的数据是哪些。

技术图片
点击【SQL数据上传】
填写上传表对应的数据库表信息

若过往有填写过相关的数据库表对应的连接信息,可双击【目标数据库表名称】的右侧文本框,弹出历史设置过的数据库连接。双击某个符合要求的记录即可快速调用历史连接信息

 

技术图片
双击【目标数据库表名称】的右侧文本框弹出选择对话框
技术图片
双击历史连接后的效果
根据需求选择增量上传或覆盖上传
  • 增量操作仅对Excel上的智能表数据进行上传操作,Sqlserver上的目标表的数据不作删除处理,对一些以时间有关的流水数据较为合适
  • 覆盖上传是在上传前对Sqlserver上的目标表上数据进行清空操作,每次覆盖上传后,Sqlserver上的数据和Excel智能表上数据保持一致。适合用于一些数据量不大的属性方面的数据使用,如商品信息表,店铺信息等。
技术图片
数据上传成功
技术图片
数据已上传至Sqlserver,且自动多出一列标识数据上传的时间
每次都需要配置Excel智能表与Sqlserver目标表的信息吗?

对于追求极致用户体验的Excel催化剂来说,这种能够让程序完成的不体现人类价值的活,必须让程序自动去完成,下次再要上传数据时,当点击【SQL数据上传】时,将自动把上次已设置好的数据库对应表连接信息给填充出来,只需点击下上传按钮即可。

总结

让Excel专注做用户体验部分,目前没有哪个工具软件的普及率能够与Excel相比,这么好的工具,再加上一点点的二次开发,让其充分发挥其价值所在,本篇的数据上传操作,在专业ETL群体中可能不觉得是件什么新鲜事,但如果可以让普通Excel用户接近自助式地完成数据从Excel或其他渠道到专业的数据仓库中,这将是一件很有爆发力的事情。为将来激活整个企业的数据资产带来极大的想像空间,试想在数据库环境里处理个百万级别的数据是何等地轻松,而同时可以把各方的数据都整合进一个数据库环境中操作,是多么惬意的事情。

系列文章

Excel催化剂安装过程详解及安装失败解决方法 - 简书 https://www.jianshu.com/p/4efcee38175a
Excel催化剂功能第1波-工作表导航 - 简书 https://www.jianshu.com/p/d9b2ae29cebe
Excel催化剂功能第2波-数字格式设置 - 简书 https://www.jianshu.com/p/a758ac3e77e2
Excel催化剂功能第3波-与PowerbiDesktop互通互联 - 简书 https://www.jianshu.com/p/e05460ad407d
Excel催化剂功能第4波-一大波自定义函数高级应用,重新定义Excel函数的学习和使用方法 - 简书 https://www.jianshu.com/p/534803771c20
Excel催化剂功能第5波-使用DAX查询从PowerbiDeskTop中获取数据源 - 简书 https://www.jianshu.com/p/21b2ca8fd2b8
Excel催化剂功能第6波-导出PowerbiDesktop模型数据字典 - 简书 https://www.jianshu.com/p/bc26a8dcdfce
Excel催化剂功能第7波-智能选区功能 - 简书 https://www.jianshu.com/p/146748e484d5
Excel催化剂功能第8波-快速可视化数据 - 简书 https://www.jianshu.com/p/ce7cca2baf89
Excel催化剂功能第9波-数据透视表自动设置 - 简书 https://www.jianshu.com/p/f872ace9aa90
Excel催化剂功能第10波-快速排列工作表图形对象 - 简书 https://www.jianshu.com/p/eab71f2969a6
Excel催化剂功能第11波-快速批量插入图片 - 简书 https://www.jianshu.com/p/9a3d9aa7ba7e
Excel催化剂功能第12波-快速生成、读取、导出条形码二维码 - 简书 https://www.jianshu.com/p/76c6856bec12
Excel催化剂功能第13波-一键生成自由报表 - 简书 https://www.jianshu.com/p/af0ac9ce1819
Excel催化剂功能第14波-一键生成零售购物篮分析 - 简书 https://www.jianshu.com/p/35014c17dff2
Excel催化剂功能第15波-接入AI人工智能NLP自然语言处理 - 简书 https://www.jianshu.com/p/56a0616125fa
Excel催化剂功能第16波-N多使用场景的多维表转一维表 - 简书 https://www.jianshu.com/p/23980e53ec5b
Excel催化剂功能第17波-批量文件改名、下载、文件夹创建等 - 简书 https://www.jianshu.com/p/e29f1048d8e5
Excel催化剂功能第18波-在Excel上也能玩上词云图 - 简书 https://www.jianshu.com/p/5fa64d548838
Excel催化剂功能第19波-Excel与Sqlserver零门槛交互-查询篇 - 简书 https://www.jianshu.com/p/4cf5bad567e4

关于Excel催化剂

Excel催化剂先是一微信公众号的名称,后来顺其名称,正式推出了Excel插件,插件将持续性地更新,更新的周期视本人的时间而定争取一周能够上线一个大功能模块。Excel催化剂插件承诺个人用户永久性免费使用!

Excel催化剂插件使用最新的布署技术,实现一次安装,日后所有更新自动更新完成,无需重复关注更新动态,手动下载安装包重新安装,只需一次安装即可随时保持最新版本!

Excel催化剂插件下载链接:https://pan.baidu.com/s/1gC6joqGY_SIg_yONga9PaQ
因插件使用VSTO开发技术完成,插件的安装需要电脑满足相关的环境配置才能运行,且需可连接外网的方式实现自动更新机制,若下载安装过程中有任何疑问或需要离线版安装等,尽量不单独私聊询问,加QQ群可高效解决(群内已汇集了VSTO开发、Powerbi技术、Sqlserver商业智能等方面的国内顶尖大牛人物,进群的好处不用多说了)

技术图片

 

技术图片

 

技术图片

 

取名催化剂,因Excel本身的强大,并非所有人能够立马享受到,大部分人还是在被Excel软件所虐的阶段,就是头脑里很清晰想达到的效果,而且高手们也已经实现出来,就是自己怎么弄都弄不出来,或者更糟的是还不知道Excel能够做什么而停留在不断地重复、机械、手工地在做着数据,耗费着无数的青春年华岁月。所以催生了是否可以作为一种媒介,让广大的Excel用户们可以瞬间点燃Excel的爆点,无需苦苦地挣扎地没日没夜的技巧学习、高级复杂函数的烧脑,最终走向了从入门到放弃的道路。

最后Excel功能强大,其实还需树立一个观点,不是所有事情都要交给Excel去完成,也不是所有事情Excel都是十分胜任的,外面的世界仍然是一个广阔的世界,Excel只是其中一枚耀眼的明星,还有其他更多同样精彩强大的技术、工具等。Excel催化剂也将借力这些其他技术,让Excel能够发挥更强大的爆发!

关于Excel催化剂作者

姓名:李伟坚,从事数据分析工作多年(BI方向),一名同样在路上的学习者。
技术路线从一名普通用户,通过Excel软件的学习,从此走向数据世界,非科班IT专业人士。
历经重重难关,终于在数据的道路上达到技术平原期,学习众多的知识不再太吃力,同时也形成了自己的一套数据解决方案(数据采集、数据加工清洗、数据多维建模、数据报表展示等)。

擅长技术领域:Excel等Office家族软件、VBA&VSTO的二次开发、Sqlserver数据库技术、Sqlserver的商业智能BI技术、Powerbi技术、云服务器布署技术等等。

2018年开始职业生涯作了重大调整,从原来的正职工作,转为自由职业者,暂无固定收入,暂对前面道路不太明朗,苦重新回到正职工作,对Excel催化剂的运营和开发必定受到很大的影响(正职工作时间内不可能维护也不可能随便把工作时间内的成果公布于外,工作外的时间也十分有限,因已而立之年,家庭责任重大)。

和广大拥护者一同期盼:Excel催化剂一直能运行下去,我所惠及的群体们能够给予支持(多留言鼓励下、转发下朋友圈推荐、小额打赏下和最重点的可以和所在公司及同行推荐推荐,让我的技术可以在贵司发挥价值,实现双赢(初步设想可以数据顾问的方式或一些小型项目开发的方式合作)。)

个人永久性免费-excel催化剂功能第50波-批量打印导出pdf双面打印功能

在倡导无纸化办公的今天,是否打印是一个碍眼的功能呢,某些时候的确是,但对于数据的留存,在现在鼓吹区块链技术的今天,仍然不失它的核心价值,数据报表、单据打印出来留存,仍然是一种不可或缺的数据存档和防篡改... 查看详情

个人永久性免费-excel催化剂功能第47波-vba开发者喜爱的加密函数类

VBA的确是个很不错的编程工具,寄生在OFFICE内,无需安装庞大的开发环境,即开即用,方便灵活,能实现的事情也很多,但毕竟VBA是微软停止更新维护将近20年的一种语言,计算机的世界发展速度有多快大家有目睹,今天抛砖引... 查看详情

个人永久性免费-excel催化剂功能第115波-wordpdfexcelppthtml等文件互转

2020年第一波更新,再来个重量级的刚需场景,文件互转。有Excel催化剂后,不再需要频繁到处找寻各种网页在线版的转换操作,数据安全很重要,不要轻易将自己文件上传到网上,哪天出事了,没人可怜!做最有价值的文件转换... 查看详情

个人永久性免费-excel催化剂功能第44波-可见区域复制粘贴不覆盖隐藏内容

Excel的复制粘贴操作,每天都在进行,若其中稍能提升一点效率,长久来说,实在是很可观的效率提升。Excel自带的复制粘贴功能,若复制的数据源或粘贴的目标位置中有隐藏的行列内容,简单一个复制粘贴充满许多的坑坑哇哇... 查看详情

个人永久性免费-excel催化剂功能第51波-聚光灯功能,长宽工作表不看错位使用

Excel的聚光灯功能,笔者是有点看不上,也曾经写文吐槽过这些类似的功能的实用性,但现实可能真的很多小白很需要,大家Excel水平参差不齐,大量的不规范做表习惯,致使此功能使用场景仍然非常广阔。很怀疑广大用户们是... 查看详情

个人永久性免费-excel催化剂功能第46波-区域集合函数,超乎所求所想

在常规自定义函数的世界中,一般情况下,仅会输入一堆的参数,最终输出一个结果值,在以往Excel催化剂的自定义函数,已经大量出现输入一堆参数返回多个结果值并自动输出到多个单元格区域内。此项技术可运用的场景太多... 查看详情

个人永久性免费-excel催化剂功能第19波-excel与sqlserver零门槛交互-查询篇

对频繁使用Excel的高级应用的尝试用户来说,绕不过的一个问题Excel的性能问题,对于几万条数据还说得过去,上了10万行的数据量,随便一个函数公式的运算都是一个不小的负荷,有些上进一点的用户会往Access桌面数据库去进深... 查看详情

个人永久性免费-excel催化剂功能第21波-excel与sqlserver零门槛交互-执行sql语句篇

在前两波中,已完成了Excel与Sqlserver的查询和上传功能,但难免许多临时的或更深入地操作数据库需要用Sql语句来操作,对一般用户电脑里,不可能有条件轻易安装一个数据库客户端软件,就算安装了对其中烦多的功能操作也不... 查看详情

个人永久性免费-excel催化剂功能第36波-新增序列函数用于生成规律性的循环重复或间隔序列

啃过Excel函数的表哥表姐们,一定对函数的嵌套、数组公式等高级的应用有很深的体会,威力是大,但也烧死不少脑细胞,不少人就在这样的绕函数中光荣地牺牲了,走向从入门到放弃。Excel催化剂的创立,初衷就是为了让普通... 查看详情

个人用户永久免费,可自动升级版excel插件,使用vsto开发,excel催化剂功能第2波-数字格式设置

...式设置。文章出处说明原文在简书上发表,再同步到Excel催化剂微信公众号 查看详情

个人用户永久免费,可自动升级版excel插件,使用vsto开发,excel催化剂功能第13波-一键生成带图片自由报表

在Excel的世界中,因着Excel的灵活性,觉得广大用户喜欢(一般的系统都是中规中矩,用户没法对它进行半点改变),例如可以用来做简历模板、员工信息标签、员工工资条、任意的多行多列合并单元格形成自己最终想要的打印... 查看详情

个人用户永久免费,可自动升级版excel插件,使用vsto开发,excel催化剂功能第12波-快速生成读取导出条形码二维码

根据指定的内容生成对应的条形码或二维码,在如今移动互联网时代,并不是一件什么新鲜事,随便百度一下,都能找到好多的软件或在线网站可以帮我们做到,但细想一下,如果很偶然地只是生成一个两这样的图形,百度一下... 查看详情

excel催化剂开源第50波-excel与powerbidesktop互通互联之第四篇(代码片段)

答应过的全盘分享,也必承诺到底,此篇PowerBI功能分享的最后一篇,讲述如何导出数据模型的元数据,笔者定义其为模型的数据字典。此篇对应功能实现出自:第6波-导出PowerbiDesktop模型数据字典https://www.jianshu.com/p/bc26a8dcdfce关... 查看详情

excel催化剂开源第16波-vsto开发之脱离传统com交互以提升性能

...。在VSTO中调用NPOI和EPPLUS,又是怎样一翻境界呢?因Excel催化剂主要是为数据分析群体服务,其中大量的场景是面积大数据量的,它大量使用了此两大累库,实现一些数据读取和数据导出的功能以提升程序性能。为何要同时使用... 查看详情

excel催化剂开源第5波-任务窗格在office2013中新建文档不能同步显示问题解决

...虑关联对应的界面,特别是任务窗格。具体代码实现Excel催化剂插件也大量使用了任务窗格,为了让用户在作配置信息时,可以更灵活,不必每次都弹出一个窗体来配置,只有需要配置时,才转到任务窗格中配置,否则保留默认... 查看详情

excel催化剂开源第1波-自定义函数的源代码全公开

Excel催化剂插件从2018年1月1日开始运营,到今天刚好一周年,在过去一年时间里,感谢社区里的许多友人们的关心和鼓励,得以坚持下来,并收获一定的用户量和粉丝数和少量的经济收入回报和个人知名度的提升。虽然还没有达... 查看详情

excel催化剂开源第14波-vsto开发之单元格区域转datatable

在Excel开发过程中,大部分时候是和Range单元格区域打交道,在VBA开发中,大家都知道的一点是,不能动不动就去遍历所有单元格,那性能是非常糟糕的,很多时候,是需要把整个单元格区域装入数组中再作处理的。在VSTO开发中... 查看详情

excel催化剂开源第2波-自动检测excel的位数选择对应位数的xll文件安装(代码片段)

Excel插件的部署问题难倒了不了的用户,特别是VSTO的部署,用ExcelDna开发的xll文件部署方便,不挑用户机器环境,是其开发Excel插件的一大优势。其开发出来的xll文件,最终还是需要考虑用户机器Excel位数的问题,32位的Excel安装32... 查看详情