分布式技术追踪2017年第二十七期

author author     2022-09-07     796

关键词:

分布式系统实践

1. 分布式系统中的时间和顺序——关于Spanner中的Linearizability

http://dwz.cn/6gcYDC

摘要: 本文主要介绍了分布式系统中 Linearizability 概念,以及它与 Serializability 的区别,并介绍了 Spanner 中是如何通过 TrueTime 来实现 Linearizability。

2. PacificA:微软设计的分布式存储框架

http://dwz.cn/6fZzz6

摘要: PacificA是微软为大规模分布式存储系统开发的一个通用复制框架,也可称之为一个原型系统。该框架简单,实用,提供强一致性,并且可以适配不同的复制策略。它对于我们理解分布式系统的强一致性,容错,仲裁有很好的指导意义。

微服务技术

1. 阿里云首席架构师唐洪:拥抱开源的云端更具生命力

http://dwz.cn/6flXWv

摘要: 这篇文章是阿里云首席架构师唐洪在国际开源界顶级会议LC3上发表的厌倦, 回顾了阿里云历史和重大技术突破点, 分享了阿里云目前的技术亮点以及和开源社区的合作.

2. 高负载微服务系统的架构演进之路

http://dwz.cn/6dE3HN

摘要: 在 2016 LighLoad++ 大会上,“M-Tex”的开发经理 Vadim Madison 讲述了从一个由数百个微服务组成的系统到包含数千个微服务的高负载项目的发展历程。文章中详细的说明了构建微服务架构所采用的技术栈选型.

高可用技术

1. Airbnb 的核心日志系统架构及主要系统模块的设计之道

http://dwz.cn/6fmh94

摘要: 随着业务的快速增长,传统的基于批处理模式和无格式的日志处理已经逐渐不能满足应用需求。因此,Airbnb 数据基础构架组开发了新一代的日志数据存储和查询平台,着重于保证日志数据的质量,解决数据的实时性,提高查询的灵活性,方便多维度统计分析,和提供异常检测。

2. 微博广告Hubble系统:秒级大规模分布式智能监控平台架构实践

http://dwz.cn/6fDOVm

摘要: 本文非常全面的介绍了微博广告的智能监控系统, 涵盖了机器/服务/业务等多种指标, 值得学习.

丰富多彩的计算机世界

1. 深入理解iostat

http://dwz.cn/6fmEdQ

http://dwz.cn/6fmEZN

摘要: iostat工具是我们观察服务器IO性能的有力武器, 这篇文章深入的分析了iostat的原理, 帮助我们更深入的理解linux的io过程.

2. Erasure-Code

http://dwz.cn/6fDYJj

http://dwz.cn/6fDYqS

摘要: 我见过的讲解EC编码最详细的文章了, 可惜有太多数学公式没看懂, 看懂的同学可以教教我.

分布式技术追踪2017年第四十七期

分布式系统实践1. 直击阿里双11神秘技术:PB级大规模文件分发系统“蜻蜓”https://mp.weixin.qq.com/s/J0O4jD0d4jCjU56wpEJu1w摘要: 2017天猫双11,交易峰值32.5万/秒,支付峰值25.6万/秒,数据库处理峰值4200万次/秒,再次刷新了记录... 查看详情

分布式技术追踪2017年第三十七期

分布式系统实践1. 微信开源PhxQueue:高可用、高可靠、高性能的分布式队列https://mp.weixin.qq.com/s/Hr4TUg8o1AQkowQpSDIhYA摘要: PhxQueue是微信开源的一款基于Paxos协议实现的高可用、高吞吐和高可靠的分布式队列,保证At-Least-OnceDeli... 查看详情

分布式技术追踪2018年第十七期

分布式系统实践1. 从HBase中移除WAL?3DXPoint技术带来的变革https://mp.weixin.qq.com/s/GQeVyR8qMnvHl14xJgaUWA摘要: 借助非易失内存消除HBase的WAL确实是可以撼动HBase架构的重大特性,期待更多细节公布.2. 认清性能问题https://mp.weixin.qq... 查看详情

分布式技术追踪2017年第二十三期

分布式系统实践1. 比较ApacheHadoop生态系统中不同的文件格式和存储引擎的性能http://dwz.cn/63s0D7摘要: 这篇文章提出了在ApacheHadoop生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能:ApacheAvro,ApacheParquet,ApacheHBa... 查看详情

分布式技术追踪2017年第二十五期

分布式系统实践1. 获得PCC性能大赛背后的RocksDB引擎:5分钟全面了解其原理http://dwz.cn/68s1H8摘要: RocksDB是GoogleLevelDB的优化版本,由facebook开源,本文简要介绍了RocksDB的特性.2. 一篇文章掌握Sql-On-Hadoop核心技术http://dwz.cn/69U8Gv... 查看详情

分布式技术追踪2017年第二十四期

分布式系统实践1. Google和Linkedin的老司机是如何管理海量数据的http://dwz.cn/66Tkqx摘要: 一直都听说数据仓库里需要元数据管理,但是没看见过具体的设计.这篇文章总结了Google和Linkedin发布的元数据管理系统的论文和开源实现,... 查看详情

分布式技术追踪2017年第二十八期

分布式系统实践1. 给spark开发者介绍下Flink:FlinkvsSparkhttp://dwz.cn/6hnu9B摘要: 当Spark如火如荼的时候,天上突然掉下了一个Flink.这篇文章简要的对Spark和Flink进行了对比,帮助大家认识Flink.2. sysbench在美团点评中的应用http://dw... 查看详情

分布式技术追踪2017年第二十期

分布式系统实践1. MySQL索引设计背后的数据结构及算法详解http://dwz.cn/5VOkgp摘要: 很多同学都知道MySQL的数据库索引采用了B+tree,但是恐怕不理解其原理.本文详细介绍了B-tree和B+tree原理以及在MySQL中的运用.2. 分布式开放... 查看详情

分布式技术追踪2018年第七期

分布式系统实践1. Apache下流处理项目巡览https://mp.weixin.qq.com/s/HCKpLP0bvuBNWaQFQWLp0g摘要: 最近几年,数据的生成、消费、处理以及分析的速度惊人地增长,社交媒体、物联网、游戏等领域产生的数据都需要以接近实时的速度... 查看详情

分布式技术追踪2017年第二十二期

分布式系统实践1. 列式存储的另一面http://dwz.cn/62D4i5摘要: 列存是很多数据库的数据存储方式,可以有效压缩和访问相近的行,在很多场景下效率都很高.但是列存也并非没有缺点,这篇文章总结了列存的几个缺点,总之还是要... 查看详情

分布式技术追踪2018年第二十二期

分布式系统实践1. 面向云数据库,超低延迟文件系统PolarFS诞生了https://mp.weixin.qq.com/s/4s7lDKlQjV1mUoVv558Y7Q摘要: 本周介绍了PolarFS文件系统的设计与实现,相关论文"PolarFS:AnUltra-lowLatencyandFailureResilientDistributedFileSystemforShare 查看详情

分布式技术追踪2018年第二十一期

分布式系统实践1. 性能测试工具的CoordinatedOmission问题https://www.jianshu.com/p/bfb2b0f50edd?from=timeline&isappinstalled=0摘要: 性能测试工具需要注意的地方,大家做性能测试工具的时候不妨review一下.2. 聊聊Netflix技术那些大胆的... 查看详情

分布式技术追踪2018年第二十期

分布式系统实践1. TiDB中的混沌实践https://mp.weixin.qq.com/s/ORKcguLhXVkkr6yionecJg摘要: 混沌工程可以让我们的分布式系统更健壮.2. 四个架构设计案例分析及其背后的架构师思维https://mp.weixin.qq.com/s/FsZUYnfEnDZ0dAsJ3hcA5Q摘要: ... 查看详情

分布式技术追踪2017年第五十一期

分布式系统实践1. 时序数据库技术体系–初识InfluxDBhttp://hbasefly.com/2017/12/08/influxdb-1/摘要: InfluxDB是一款非常优秀的时间序列数据库,这篇文章概要性的介绍了InfluxDB的原理.2. etcdv3原理分析https://yuerblog.cc/2017/12/10/principle-... 查看详情

分布式技术追踪2017年第四十三期

分布式系统实践1. LogDevice:来自Facebook的分布式日志数据存储系统http://www.infoq.com/cn/news/2017/10/LogDevice-Facebook摘要: LogDevice是Facebook研发的新一代日志存储系统,这篇文章简要介绍了LogDevice的设计要点,Facebook计划年底开源,到... 查看详情

分布式技术追踪2017年第十三期

分布式系统实践1. 阿里HBase超详实践总结http://dwz.cn/5D5Q21摘要: 这篇文章详细解释了阿里HBase在跨机房复制,高可用等方面的工作,特别是多集群的数据复制方案,非常值得参考和学习.2. 龙(Dragon)-facebook分布式图索引查询引... 查看详情

分布式技术追踪2017年第三期

p.p1{margin:0.0px0.0px0.0px0.0px;font:31.2px"HelveticaNeue";color:#111111}p.p2{margin:0.0px0.0px0.0px0.0px;font:17.3px"HelveticaNeue";color:#222222}p.p3{margin:0.0px0.0px0.0px0.0px;font:17.3px"Helveti 查看详情

分布式技术追踪2017年第一期

 分布式系统实践1. 大话分布式系统理论基础http://dwz.cn/4UWN7i摘要:一致性是分布式系统的理论基础,这篇文章从2PC,3PC开始,概述了支撑分布式系统一致性的各个理论,便于大家再进行更深入和细致的学习.2. 美团云混合存储... 查看详情