关键词：
面向生产力的网易数据架构演进
面向生产力的网易数据架构演进
整理自：第十一届数据技术大会 演讲人：汪源 网易副总裁，杭州研究院执行院长，网易数帆总经理
数据架构演进历程
拥抱开源
为什么需要数据中台
数据中台建设成果
开创面向数据中台的模型设计度量标准
网易有数（敏捷BI）
数据门户
决策引擎
云原生
愿景：云原生操作系统
Spark on Kubernetes
基于自研的SparkSQL服务Kyuubi与K8S平台，打造Serverless Spark服务
Training on Kubernetes
总 结
-
以数据产品为目标，以通用工具为手段，建立效能提升和用户满意度考核机制及市场化结算机制，才能引导公技团队做正确有价值的事
-
拥抱开源，采取模块化及正交组合架构设计，并和客户开放共建，才 能高效满足不同行业不同量级的业务需求
-
建设数据中台，打通数据孤岛，提供便于分析和消费的高质量数据，应成为所有互联网业务的优先事项
-
数据中台不解决业务问题，为所有岗位研发针对性的数据产品才能真 正解决业务问题，因此需要构建全面高效的数据产品研发工具体系
-
网易易数全链路数据生产力平台为数据中台和数据产品建设提供全面支撑
-
云原生是大趋势，未来所有的计算负载都将运行在Kubernetes统一调度的云原生操作系统上
有赞搜索系统的架构演进
摘要：有赞搜索平台是一个面向公司内部各项搜索应用以及部分NoSQL存储应用的PaaS产品，帮助应用合理高效的支持检索和多维过滤功能，有赞搜索平台目前支持了大大小小一百多个检索业务，服务于近百亿数据。在为传统的搜索... 查看详情
微服务架构总览
...。因为单体应用会随着规模的扩大而逐渐增加内耗，导致生产力降低。微服务的目标是在规模扩大时，使得生产力能维持在一个稳定的水准之上。微服务生产力超过单体的拐点，一般来说是指当团队人数规模达到百人时。当然，... 查看详情
大型网站架构系列
...经验。大型网站架构演进(1)单机网站大型网站架构演进(2)数据库与应用服务器分离大型网站架构演进(3)使用缓存改善网站性能大型网站架构演进(4)使用应用服务器集群大型网站架构演进(5)数据库读写分离大型网站架构演进(6)使用... 查看详情
数据湖：数据湖技术架构演进
...司，每天都会生成几十、几百TB，甚至几PB的原始数据。这些公司通常采用开源的大数据组件来搭建大数据平台。大数据平台经历过“以Hadoop为代表的离线数据平台”、“Lambda架构平台”、“Kappa架构平台”三个阶段。 ... 查看详情
面向对象设计与构造课程总结作业(代码片段)
BUAAOO2021THEFINAL面向对象设计与构造课程总结作业四个单元中的架构设计第一单元架构设计与实现相关总结，传送门在此第二单元架构设计与实现相关总结，传送门在此第三单元架构设计与实现相关总结，传送门在此第四单元架构... 查看详情
美团点评数据库高可用架构的演进与设想
美团点评数据库高可用架构的演进与设想金龙 ·2017-06-2920:11本文介绍最近几年美团点评MySQL数据库高可用架构的演进过程，以及我们在开源技术基础上做的一些创新。同时，也和业界其它方案进行综合对比，了解业界在高可... 查看详情
技术架构演进流程（java）(代码片段)
...mlspring-mvc.xml:web.xmlpom.xml相关信息：Maven多模块项目SOA(面向服务的架构)-------》ESB架构(企业服务总线)SpringBoot项目application.properties文件：(可用yml文件替换)mapper配置文件springcolud子模块构架application.properties文件单体架构垂... 查看详情
数据库服务和架构演进——从开发者需求看数据库的发展
数据库服务和架构演进——从开发者需求看数据库的发展数据库服务和架构演进——从开发者需求看数据库的发展数据库服务和架构演进——从开发者需求看数据库的发展整理自：第十一届数据技术大会演讲人：腾讯云... 查看详情
数据湖04：数据湖技术架构演进
系列专题：数据湖系列文章1.背景 国内的大型互联网公司，每天都会生成几十、几百TB，甚至几PB的原始数据。这些公司通常采用开源的大数据组件来搭建大数据平台。大数据平台经历过“以Hadoop为代表... 查看详情
分布式架构的演进
...晶。 初始阶段架构初始阶段的小型系统、应用程序、数据库、文件等所有的资源都在一台服务器上。通俗称为LAMP。特征：应用程序、数据库、文件等所有的资源都在一台服务器上。描述：通常服务器操作系统使用linux，应用... 查看详情
云上应用系统数据存储架构演进
...都与几个重要的变量相关。本文将会给大家分享应用系统数据架构的演进以及云上的架构最佳实践。作者|木洛来源|阿里技术公众号一前言回顾过去二十年的技术发展，整个应用形态和技术架构发生了很大的升级换代，而... 查看详情
dataops-数据开发治理一体化之网易数帆数据治理2.0实践分享
...项目经常失败1.我们为什么要做数据治理2.网易数帆数据生产力架构3.传统数据治理1.00X03网易数帆数据治理2.01.到底什么是数据治理？2.网易数帆对数据治理的理解？3.网易数帆数据治理的方法论DataFusio 查看详情
美图数据统计分析平台架构演进
...千万用户在使用美图的各个产品，从而积累了大量的用户数据。随着App的不断迭代与用户的快速膨胀，产品、运营、市场等越来越依赖于数据来优化产品功能、跟踪运营效果，分析用户行为等，随之而来的有越来越多的数据统计... 查看详情
微服务浅述---架构演进
...因为痛点驱动。因为互联网公司很容易突然爆发，今年的数据量可能比去年的数据量翻上N倍。那么刚开始的时候公司用的是单体架构，即一个业务逻辑一撸到底。比如电商公司，从前端商品展示，购物车，下单，订单生成，发... 查看详情
网架构的演进历程
阅读目录网架构的演进历程1单体架构2Web服务器和数据库服务器分离3本地缓存和分布式缓存应用4服务冗余和NGINX负载均衡5数据库读写分离6按业务进行分库7大表拆小表8LVS或F5让多个Nginx负载均衡9DNS轮询实现机房的负载均衡10大应... 查看详情
网架构的演进历程
阅读目录网架构的演进历程1单体架构2Web服务器和数据库服务器分离3本地缓存和分布式缓存应用4服务冗余和NGINX负载均衡5数据库读写分离6按业务进行分库7大表拆小表8LVS或F5让多个Nginx负载均衡9DNS轮询实现机房的负载均衡10大应... 查看详情
大数据olap架构及技术实现的演进简介
文章目录一、架构分类二、技术演进1、传统关系型数据库时期2、大数据技术时期你的点赞与评论是我最大的创作动力！一、架构分类OLAP名为联机分析，又称多维分析，什么是多维分析，指的是多种不同的维度审... 查看详情
hadoop大数据原理-架构演进
...题。 当然，随着互联网的发展，B/S架构能够面向未知的用户群体，实现用户量的疯狂扩张，用户只需要操作系统和浏览器就能够进行服务访问。 近10年还有一个明显的改变就是，大家开始从PC向手机端... 查看详情