关键词：
摘要：2017云栖大会阿里云大数据计算服务（MaxCompute）专场，众安保险数据总监王超群带来MaxCompute助力众安保险方面的演讲。本文主要从MaxCompute优势开始谈起，进而谈及大数据能够公司运营带来的好处，最后重点分析了众安保险的数据平台建设，包括任务调度、元数据和数据质量监控等。
原文地址：http://click.aliyun.com/m/43993/
2017云栖大会阿里云大数据计算服务（MaxCompute）专场，众安保险数据总监王超群带来MaxCompute助力众安保险方面的演讲。本文主要从MaxCompute优势开始谈起，进而谈及大数据能够为公司运营带来的好处，最后重点分析了众安保险的数据平台建设，包括任务调度、元数据和数据质量监控等。
以下是精彩内容整理：
众安保险作为国内第一家互联网公司，我们从创立之初计算平台就使用MaxCompute。
为什么会选择MaxCompute？
成立之初我们也在自建平台和MaxCompute上作出了选择，我们主要从五方面考虑：健壮性、与应用系统交互、扩展性、强数据安全和低成本。
健壮性：7*24的服务能力、异常恢复时长；
与应用系统交互：数据源的获取与数据输出效率和成本；
扩展性：当数据成倍增长时，计算能力弹性；
数据安全：数据异常攻击防护，提供多层沙箱防护及权限体系；
成本：自建成本和MaxCompute成本对比。
首先，2013年能够提供完整能力的计算平台并不是很多，MaxCompute孵化于阿里金融的生产系统验证后对外输出，支持5000台以上的计算能力，满足我们对弹性和扩展性的要求；其次，我们对阿里云专业能力的信任，可以看到阿里云在国内的计算份额遥遥领先；最后，MaxCompute不仅仅是一个计算平台，它还提供了分析和挖掘工具的能力支持，提供可用的IDE（DataWorks、Studio）开发工具，这会降低我们最初加工开发过程中的开发成本。
大数据能给公司运营带来哪些颠覆？
云计算和大数据整体生态链的发展如图，国内云计算年增长率超60%，AWS新增功能数可观，云计算正日益接近生活，从hadoop诞生以来，十年间产品丰富性大大增加，生态圈越来越大。
大数据不仅仅在于它的工具、平台和生态圈，更在于它能够赋能于人、场景，通过赋能支持生态发展，阿里每天都有上万人在使用MaxCompute在工作，大数据是对人赋能创造的新职业，反过来从业者也会反馈大数据，丰富大数据的场景，在十年的发展中，人和资源的投入也在反馈结果，同时还有资本的良性回报继续投入大数据行业，形成闭环。
众安是一家以保险为核心的公司，我们提供跨生态的连接，与各个子行业进行跨生态合作，包括电商、3C、汽车等，这些产品打通了各个生态伙伴同时也会增加我们对用户的接触，通过与300多个生态伙伴的合作，我们积累了大量用户数据及信息。最终，我们希望众安既能服务这些生态，又能通过数据积累、客户积累、品牌积累来做大做强众安自己的开放平台。
截至到2016年底，我们服务的用户为4.92亿，保单数72亿，为中国互联网的新生代提供了第一张保单。其中，30岁以下人群大约占比50%，说明众安保险代表这新的生活理念方式，而且这群人群有着充足的资产生产能力，他们对保险的认可度和意识是更高的，他们是将来的消费主力。
众安保险的数据平台建设
每串数字后面都是公司全体员工努力的结果，那么，基于MaxCompute数据平台做了哪些事情呢？怎样支撑业务快速发展？
数据平台分为平台工具、数据监控和数据服务。数据本身是有多源异构数据，数据价值体现在于它的流动性和开放性，只有把数据经过加工、质检提供到用户手中，才能产生价值。平台工具包括MaxCompute、数据同步、任务调度和计算存储管理；数据监控有预警系统、元数据、血缘关系和数据质量；数据服务包括数据门户、自助取数和服务API。
任务调度系统
任务调度本质上是要完成数据加工工作流的状态，数据加工是一个多链路的过程，如何保证数据顺序的正确性，我们支持日、周、月等不同周期调度，支持分组优先级，支持小时任务，支持自定义时间调度，日任务量超1W。
任务调度是一个有向图，每一个节点都可以看到来源数据是非常多的，红色数据代表出错状态，蓝色代表成功，绿色代表正在运行，×××是存在的状态。不同任务加工来源于很多的数据源，就会给我们带来困惑，如果信息出现错误，那么到底是自身任务出错还是上游数据源结果引来的问题呢？那么，怎么让开发更快的定位问题，减轻开发成本，提供统一口径？我们通过元数据来解决。
元数据
数据包括打通数据和数据间关系，利于模型优化和异常定位，打通数据与人之间的关系，利于成本优化。数据关系包括数据字典信息、血缘信息、存储和产出信息、表责任人信息和业务元数据信息，推动存储计算优化来降低MaxCompute使用成本。
左图为数据间的基本信息，还有数据产出信息、血缘关系；右图展示表的来源，输出会影响下一轮哪些表，获取信息以后，我们会把数据和数据之间打通，人和数据之间打通。
存储优化后成本下降了30%，通过存储计算优化降低无效存储，计算效率会提升。
数据质量监控
数据质量监控通过切片方式嵌入到任务自身执行状态中，执行任务的自处理，自己判定自己的状态，基于规则与模板验证数据的准确性，只有Ok才会被下游使用，这样避免了数据污染，自身暴露错误不依赖于下游。它的特点是利用MaxCompute的统计项收集功能，规则是统计项规则，包含表和字段级别，模板为规则+周期+统计函数的整合，把事后监控变为事中监控，支持用户自定义，覆盖重点任务，覆盖率30%。
数据服务与安全
在消费时，我们会去考虑哪些东西呢？数据是要开放和流通的，在开放和流通中我们还要小心什么？数据泄露和安全都会导致公司的灾难。
在技术上，我们基于ACL与角色管理，赋予不同等级，我们做了表和字段级别的权限等级控制，建立敏感信息掩码、涉密信息的加密审批流程，开放与安全,基于技术控制和流程控制，各种角色需要数据。开放基础是安全控制，开放关键在流程管理，我们在开放与安全间做平衡。
在数据平台的建设中，要保持可用、易用、适用三个阶段，需要经历多次迭代升级系统。数据即服务，要满足用户不同的数据需求，数据是基础设施，每家公司都面临数据平台的搭建和使用。
MaxCompute生态的丰富，资源与工具的共享，对挖掘算法的深入及支持都可强大到满足我们的使用需求，我们可以有更多时间去接触用户，为用户创造价值。MaxCompute成本也在逐步下降。未来，希望MaxCompute提供更多种模式支持，包括UDF\资源库如IP库，包括挖掘的python算法包、人工智能平台支持。
识别以下二维码，阅读更多干货
张兴华：云端架构助力企业快速成长
欢迎大家前往腾讯云技术社区，获取更多腾讯海量技术实践干货哦~企业IT最大的需求就是能够快速的构建和稳定高速的发展。腾讯云资深架构师张兴华认为，企业在发展过程中的IT架构会遇到的四个问题：第一，高可用挑战。如... 查看详情
华为云产品齐全，助力中小企快速成长
文章目录【写在前面】一、中小企业为什么要上云二、中小企业上什么云三、华为开年采购季【写在前面】2021年伴随着全国疫情的大暴发，市场经济低迷，不少中小企业受到了威胁。近几个月，政府的严格管控，... 查看详情
性能追求之路——maxcompute2.0的前世今生
...。他首先介绍了MaxCompute的发展历程和技术架构，然后对MaxCompute2.0版本新特性和新技术进行了详细介绍。最后，分享了基于MaxCompute平台构建完整大数据应用架构、构建新型数据仓库、实现个性化推荐的实践。 本文根据直播视... 查看详情
5月19日云栖精选夜读：性能追求之路——maxcompute2.0的前世今生
...》，首先介绍了MaxCompute的发展历程和技术架构，然后对MaxCompute2.0版本新特性和新技术进行了详细介绍。《大数据计算服务MaxCompute产品最新动态》，首先介绍了MaxCompute的发展历程和技术架构，然后对MaxCompute2.0版本新特性和新技... 查看详情
减少后台操作，实现流程自动化，软件机器人助力保险业提能增效
在智能科技浪潮的推动下，中国保险行业正面临前所未有的变局。一方面，保险业面临市场持续增长、产品结构逐步优化、客户保险意识崛起等发展机遇。另一方面，部分保险公司由于长期粗放经营面临着综合成本率高、客户触... 查看详情
flexport飞协博与中国平安财产保险达成合作助力双循环新发展格局
中国上海,2021年11月7日—Flexport飞协博国际货运代理（上海）有限公司（以下简称“Flexport飞协博”）今日与中国平安财产保险股份有限公司上海分公司在第四届中国国际进口博览会上宣布签订合作协议，双方... 查看详情
百度大脑dumixar赋能中国人寿财产保险，助力车险定损场景数字化转型
...远距离协同系统成为刚需。 百度大脑 DuMixAR ×国寿财险助力企业智能化转型升级 过去 查看详情
百度大脑dumixar赋能中国人寿财产保险，助力车险定损场景数字化转型
...远距离协同系统成为刚需。 百度大脑 DuMixAR ×国寿财险助力企业智能化转型升级 过去 查看详情
御享财富御享金瑞产品计划，助力财富规划和品质养老
11月26日，中国平安人寿保险股份有限公司（下称“平安人寿”）召开“平安御享财富相伴——平安人寿御享财富、御享金瑞保险产品计划上市发布会”。本次发布会探讨了长寿时代下家庭财富管理和品质养老相关议... 查看详情
成全教育伴成长，伴行3618助力青大附中教育教学年会（转）
题记：心中充满阳光，每天行走在追寻教育理想的路上，幸运的是，总有一群人和你一样，彼此相伴，一路前行。日复一日，年复一年，青大附中凝聚着每一份力量。小溪汇成江河，成为推动事业发展的磅礴力量，梦在前方，路... 查看详情
容联云助力“银保双录”升级：标准化智能化实时化自助化
银保监会消保局《保险销售行为可回溯管理办法（征求意见稿）》再向业内征求意见：网销、电销、新车商业保险、融资性信保业务等都纳入了“双录”范畴。意味着保险销售行为进入“标准化”时代，销售行为... 查看详情
如何快速成长为技术大牛
如何快速成长为技术大牛 查看详情
云宏wincloud助力银行业务快速入云云宏wincloud助力银行业务快速入云
当前，人类社会各方面正在变得“互联网化”，互联网生活、互联网制造、互联网贸易正在取代传统的经济运行方式。互联网金融迅速发展，形成了服务互联网经济的主流金融模式之一。商业银行积极创新互联网金融业务，增强... 查看详情
云宏wincloud助力银行业务快速入云云宏wincloud助力银行业务快速入云
当前，人类社会各方面正在变得“互联网化”，互联网生活、互联网制造、互联网贸易正在取代传统的经济运行方式。互联网金融迅速发展，形成了服务互联网经济的主流金融模式之一。商业银行积极创新互联网金融业务，增强... 查看详情
如何慢慢地快速成长起来？
达尔文说过，物竞天择、适者生存。换言之，不适者就要被淘汰。虽然可以辩解说塞翁失马焉知非福，但淘汰大概率来说不是什么好事。唯一的良药就是让自己成长起来，成长自然离不开学习。所以中国有句古话叫，活到老学到... 查看详情
如何快速成长？
刚看到知乎问题《毕业后工作成长速度差异是如何造成的》，进而思考那些内部的我们可控制的能让自己成长的方法，总结如下： 毕业后成长速度差异和很多因素有关，总的来说分两方面：内部的和外部的，我们能控制的和... 查看详情
众安精灵ai挑战赛的红包能提现吗？
参考技术A打开众安app，在“我的—战绩红包”里点“立即提现”，微信钱包秒速到账再看看别人怎么说的。 查看详情
css可视化工具-助力快速开发css片段
Neumorphism为section或div生成对应UI，它也可以自定义border-radius,box-shadow等 ShadowsBrumm生成多个分层阴影 CSSClip-pathMaker FancyBorderShapeGenerator CubicCurve CSSGradient CSSWaves GradientMultipleWaves MultipleAni 查看详情