分布式技术追踪2017年第二十三期

author author     2022-09-04     554

关键词:

分布式系统实践

1. 比较Apache Hadoop 生态系统中不同的文件格式和存储引擎的性能

http://dwz.cn/63s0D7

摘要: 这篇文章提出了在Apache Hadoop 生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能:Apache Avro, Apache Parquet, Apache HBase 和 Apache Kudu 空间效率, 提取性能, 分析扫描以及随机数据查找等领域。这有助于理解它们中的每一个如何(何时)改善你的大数据工作负载的处理能力。

2. 谈谈分布式Aggregation

http://dwz.cn/64bZ6I

摘要: 在大数据SQL引擎中(大体上都是OLAP引擎),Aggregation和Join的计算性能直接影响着查询速度,本文主要介绍了笔者在使用MapReduce和Impala系统中对实现Aggregation操作的理解,最后详细介绍了Impala能够实现高速的单个DISTINCT COUNT查询的原理,希望能够能够对于读者有点帮助和启发.

微服务技术

1. 探索Kubernetes的网络原理及方案

http://dwz.cn/64wpT5

摘要: 虚拟化网络是k8s中最不容易理解的部分, 这篇文章对k8s的网络原理以及常见的解决方案进行了分析和对比, 帮助大家理解网络虚拟化技术.

2. Netflix如何在上万台机器中管理微服务?

http://dwz.cn/65aTVV

摘要: 本文主要介绍了 Netflix OSS 贡献的 Eureka,Hystrix 和 Ribbon,由于篇幅限制,其他的组件将在后续的文章中介绍, 这些开源组件和 Spring Boot/Spring Cloud 都有良好的集成,通过注解的方式配合 Properties 文件,能够解决管理大规模服务时遇到的通用问题。

高可用技术

1. 三篇文章了解 TiDB 技术内幕 —— 谈调度

http://dwz.cn/65aNfa

摘要: 分布式存储系统必须具备高可用, 这篇文章介绍了TiDB实现高可用的技术, 非常值得学习.

2. 阿里高可用的两大法宝

http://dwz.cn/65bmCH

摘要: 这篇文章介绍了阿里实施全链路压测的技术, 供大家参考.

丰富多彩的计算机世界

1. 不要再重复造轮子了,造牢固的地基吧

http://dwz.cn/63BKud

摘要: C++生态发展太缓慢了, 有几个C++程序员没有写过基础库? 这篇文章介绍了整理C++基础库的心得.

2. 代码审查关注什么:SOLID 原则

http://dwz.cn/64wEcm

摘要: SOLID是软件开发中非常重要的五个原则, 这篇文章介绍了代码审查时如何发现并解决违背这五大原则的问题.

技术分享

分布式技术追踪2017年第三期

p.p1{margin:0.0px0.0px0.0px0.0px;font:31.2px"HelveticaNeue";color:#111111}p.p2{margin:0.0px0.0px0.0px0.0px;font:17.3px"HelveticaNeue";color:#222222}p.p3{margin:0.0px0.0px0.0px0.0px;font:17.3px"Helveti 查看详情

分布式技术追踪2017年第四十三期

分布式系统实践1. LogDevice:来自Facebook的分布式日志数据存储系统http://www.infoq.com/cn/news/2017/10/LogDevice-Facebook摘要: LogDevice是Facebook研发的新一代日志存储系统,这篇文章简要介绍了LogDevice的设计要点,Facebook计划年底开源,到... 查看详情

分布式技术追踪2017年第二十七期

分布式系统实践1. 分布式系统中的时间和顺序——关于Spanner中的Linearizabilityhttp://dwz.cn/6gcYDC摘要: 本文主要介绍了分布式系统中Linearizability概念,以及它与Serializability的区别,并介绍了Spanner中是如何通过TrueTime来实现Linear... 查看详情

分布式技术追踪2017年第二十五期

分布式系统实践1. 获得PCC性能大赛背后的RocksDB引擎:5分钟全面了解其原理http://dwz.cn/68s1H8摘要: RocksDB是GoogleLevelDB的优化版本,由facebook开源,本文简要介绍了RocksDB的特性.2. 一篇文章掌握Sql-On-Hadoop核心技术http://dwz.cn/69U8Gv... 查看详情

分布式技术追踪2017年第二十四期

分布式系统实践1. Google和Linkedin的老司机是如何管理海量数据的http://dwz.cn/66Tkqx摘要: 一直都听说数据仓库里需要元数据管理,但是没看见过具体的设计.这篇文章总结了Google和Linkedin发布的元数据管理系统的论文和开源实现,... 查看详情

分布式技术追踪2017年第二十八期

分布式系统实践1. 给spark开发者介绍下Flink:FlinkvsSparkhttp://dwz.cn/6hnu9B摘要: 当Spark如火如荼的时候,天上突然掉下了一个Flink.这篇文章简要的对Spark和Flink进行了对比,帮助大家认识Flink.2. sysbench在美团点评中的应用http://dw... 查看详情

分布式技术追踪2017年第二十期

分布式系统实践1. MySQL索引设计背后的数据结构及算法详解http://dwz.cn/5VOkgp摘要: 很多同学都知道MySQL的数据库索引采用了B+tree,但是恐怕不理解其原理.本文详细介绍了B-tree和B+tree原理以及在MySQL中的运用.2. 分布式开放... 查看详情

分布式技术追踪2018年第三期

分布式系统实践1. InfluxDBTSM存储引擎之TSMFilehttp://hbasefly.com/2018/01/13/timeseries-database-4/摘要: influxDB是一款非常知名的时间序列数据库,这篇文章重点介绍了influxDB的存储引擎TSM的细节,帮助大家理解influxDB是如何实现高效存储... 查看详情

分布式技术追踪2017年第二十二期

分布式系统实践1. 列式存储的另一面http://dwz.cn/62D4i5摘要: 列存是很多数据库的数据存储方式,可以有效压缩和访问相近的行,在很多场景下效率都很高.但是列存也并非没有缺点,这篇文章总结了列存的几个缺点,总之还是要... 查看详情

分布式技术追踪2018年第十三期

分布式系统实践1. 细数云计算里的虚拟化https://mp.weixin.qq.com/s/AFsX1uQ6YzYePGa4MNWfGQ摘要: 虚拟化技术有很长历史了,这篇文章总结了AWS的虚拟化技术演变过程.2. 阳振坤:当我们在谈论金融级分布式数据库的时候,其实是在... 查看详情

分布式技术追踪2018年第二十二期

分布式系统实践1. 面向云数据库,超低延迟文件系统PolarFS诞生了https://mp.weixin.qq.com/s/4s7lDKlQjV1mUoVv558Y7Q摘要: 本周介绍了PolarFS文件系统的设计与实现,相关论文"PolarFS:AnUltra-lowLatencyandFailureResilientDistributedFileSystemforShare 查看详情

分布式技术追踪2018年第二十一期

分布式系统实践1. 性能测试工具的CoordinatedOmission问题https://www.jianshu.com/p/bfb2b0f50edd?from=timeline&isappinstalled=0摘要: 性能测试工具需要注意的地方,大家做性能测试工具的时候不妨review一下.2. 聊聊Netflix技术那些大胆的... 查看详情

分布式技术追踪2018年第二十期

分布式系统实践1. TiDB中的混沌实践https://mp.weixin.qq.com/s/ORKcguLhXVkkr6yionecJg摘要: 混沌工程可以让我们的分布式系统更健壮.2. 四个架构设计案例分析及其背后的架构师思维https://mp.weixin.qq.com/s/FsZUYnfEnDZ0dAsJ3hcA5Q摘要: ... 查看详情

分布式技术追踪2017年第五十一期

分布式系统实践1. 时序数据库技术体系–初识InfluxDBhttp://hbasefly.com/2017/12/08/influxdb-1/摘要: InfluxDB是一款非常优秀的时间序列数据库,这篇文章概要性的介绍了InfluxDB的原理.2. etcdv3原理分析https://yuerblog.cc/2017/12/10/principle-... 查看详情

分布式技术追踪2017年第一期

 分布式系统实践1. 大话分布式系统理论基础http://dwz.cn/4UWN7i摘要:一致性是分布式系统的理论基础,这篇文章从2PC,3PC开始,概述了支撑分布式系统一致性的各个理论,便于大家再进行更深入和细致的学习.2. 美团云混合存储... 查看详情

分布式技术追踪2017年第十四期

分布式系统实践1. 稳定和性能如何兼顾?58大数据平台的技术演进与实践http://dwz.cn/5GIKUX摘要: 本文将为你分享58大数据平台在最近一年半内技术演进的过程,包括:58大数据平台目前的整体架构是怎么样的;最近一年半的... 查看详情

分布式技术追踪2017年第十七期

分布式系统实践1. KuduvsHBasehttp://dwz.cn/5PF5gq摘要: Cloudera在2016年发布了新型的分布式存储系统—kudu,kudu从外部形态上来说和HBase非常像,这篇文章分析了二者的差异和定位.2. Leaf——美团点评分布式ID生成系统http://dwz.cn/5PF... 查看详情

分布式技术追踪2017年第四十六期

分布式系统实践1. 分布式系统的时间https://mp.weixin.qq.com/s/NwFzR_rwHCrWxfxrG9h4Qw摘要: 时间对于我们日常生活来说在普通不过了,但是在分布式系统中获取精确的时间却非常困难.这篇文件介绍了分布式系统几种常用的解决方案.2.... 查看详情