分布式技术追踪2017年第三十六期

author author     2022-09-18     485

关键词:

分布式系统实践

1. 当LSM遇上SSD

https://mp.weixin.qq.com/s/HAaTVtg4SlaGLcn1QZpw9A

摘要: 以LevelDB为代表的LSM-tree存储引擎几乎一统天下, 然而代价是几十到上百倍的写放大. 随着SSD在随机IO上的突破, 这么高的写放大就显得不那么经济了, 这篇文章介绍了论文WiscKey: Separating Keys from Valuesin SSD-conscious Storage的思路, 阐述了一种对SSD友好的基于LSM的引擎设计方案.

2. 测试分布式系统的线性一致性

http://www.jianshu.com/p/bddfce1494d6

摘要: 验证分布式系统的正确性往往比实现它更复杂, 这篇文章介绍了验证分布式系统线性一致性的方法和工具, 非常值得学习.

微服务技术

1. 大系统化小之后,微信如何解决大规模微服务下的难题

https://mp.weixin.qq.com/s/UTLja4ytdCPG6QI6J9j1pg

摘要: “大系统小做”,微服务与腾讯的理念有一些相同的地方。本文整理自许家滔在2016年ArchSummit全球架构师峰会的演讲,分享了微信在微服务架构的实践中遇到的问题与解决方案。

2. 微服务API级权限的技术架构

https://mp.weixin.qq.com/s/EF5KQc5ZleDCYUx7jkEM-g

摘要: 权限控制是微服务架构中很重要的一个设计要素, 却经常被忽略. 这篇文章首先讲述了RBAC的基本概念, 然后介绍了自研的权限控制系统的设计思路.

高可用技术

1. 关于负载均衡和服务发现,Google的经验在这里

https://mp.weixin.qq.com/s/PYoOTs78qLBljbIYkZIxPA

摘要: Google数据中心约有200万台X86PC服务,没有买任何大、小型机,完全使用廉价的PC服务器搭建,因规模庞大,所以对网络要求非常高,交换机都是自行设计后定制的。服务发现、负载均衡的问题,对于Google的量级来说非常复杂,这篇文章跟大家分享下Google内部如何实现服务发现和负载均衡。

2. 深入解析Kafka高可用设计如何步步为营

https://mp.weixin.qq.com/s/rjYPVwe90weHpvnHUPnX7A

摘要: 本文从Data Replication和Leader Election两方面介绍了Kafka的HA机制, 帮助大家理解分布式系统的高可用性设计思路.

丰富多彩的计算机世界

1. 程序员学网络之集线器和交换机

https://mp.weixin.qq.com/s/mt1afr-eFJHxP2LeN4Yz2Q

摘要: 上大学的时候很多网络概念都没搞明白, 直到看了这篇文章, 才真正明白了集线器和交换机的原理, 了解了VLAN的含义, 推荐大家阅读.

2. protobuf 消息编解码算法

https://mp.weixin.qq.com/s/7tqpa_9XH_rI_6vaHbqwwA

摘要: protobuf可能很多同学并不陌生, 这篇文章解释了protobuf的编码原理, 帮助大家更好的运用和理解protobuf.

分布式技术追踪2017年第十六期

 分布式系统实践1. 微信高可用分布式数据库PhxSQL设计与实现http://dwz.cn/5MDqea摘要: 微信团队的PhxSQL的文章之前也推荐过,本期再推荐一篇整体介绍PhxSQL的文章,相关代码已经开源.2. 以交易系统为例,看分布式事务架... 查看详情

分布式技术追踪2017年第六期

p.p1{margin:0.0px0.0px0.0px0.0px;font:31.2px"HelveticaNeue";color:#111111}p.p2{margin:0.0px0.0px0.0px0.0px;font:17.3px"HelveticaNeue";color:#222222}p.p3{margin:0.0px0.0px0.0px0.0px;font:17.3px"Helveti 查看详情

分布式技术追踪2017年第三十四期

分布式系统实践1. Linearizability一致性验证http://dwz.cn/6pPYpb摘要: 一致性是分布式系统很常见的特性,Jepsen是验证分布式系统一致性的有力工具.这篇文件中介绍了Jepsen的原理,文章有点深奥,不太容易懂.2. 深入浅出阿里云新... 查看详情

分布式技术追踪2017年第三十二期

分布式系统实践1. 数据一致性-分区可用性-性能——多副本强同步数据库系统实现之我见http://hedengcheng.com/?p=892摘要: 这篇文章非常深入的解释了数据一致性的问题和解决方案,强烈推荐阅读.2. 阿里10年分布式数据库技... 查看详情

分布式技术追踪2017年第三十七期

分布式系统实践1. 微信开源PhxQueue:高可用、高可靠、高性能的分布式队列https://mp.weixin.qq.com/s/Hr4TUg8o1AQkowQpSDIhYA摘要: PhxQueue是微信开源的一款基于Paxos协议实现的高可用、高吞吐和高可靠的分布式队列,保证At-Least-OnceDeli... 查看详情

分布式技术追踪2018年第六期

分布式系统实践1. Prometheus原理和源码分析https://mp.weixin.qq.com/s/usufsIvoda-yLgPyW_dUaw摘要: Prometheus是CNCF旗下的一款炙手可热的指标监控系统,性能出色,运维简单,本文介绍了了核心的原理和源码分析.2. OceanBase质量之道https://... 查看详情

分布式技术追踪2018年第三十一期

分布式技术追踪2018年第三十一期分布式系统实践1. Google‘sNewBook:TheSiteReliabilityWorkbookhttp://highscalability.com/blog/2018/7/25/googles-new-book-the-site-reliability-workbook.html摘要: Google关于SRE的第二本书,相对第一本来说 查看详情

分布式技术追踪2017年第五十一期

分布式系统实践1. 时序数据库技术体系–初识InfluxDBhttp://hbasefly.com/2017/12/08/influxdb-1/摘要: InfluxDB是一款非常优秀的时间序列数据库,这篇文章概要性的介绍了InfluxDB的原理.2. etcdv3原理分析https://yuerblog.cc/2017/12/10/principle-... 查看详情

分布式技术追踪2017年第二十七期

分布式系统实践1. 分布式系统中的时间和顺序——关于Spanner中的Linearizabilityhttp://dwz.cn/6gcYDC摘要: 本文主要介绍了分布式系统中Linearizability概念,以及它与Serializability的区别,并介绍了Spanner中是如何通过TrueTime来实现Linear... 查看详情

分布式技术追踪2017年第四十三期

分布式系统实践1. LogDevice:来自Facebook的分布式日志数据存储系统http://www.infoq.com/cn/news/2017/10/LogDevice-Facebook摘要: LogDevice是Facebook研发的新一代日志存储系统,这篇文章简要介绍了LogDevice的设计要点,Facebook计划年底开源,到... 查看详情

分布式技术追踪2017年第十三期

分布式系统实践1. 阿里HBase超详实践总结http://dwz.cn/5D5Q21摘要: 这篇文章详细解释了阿里HBase在跨机房复制,高可用等方面的工作,特别是多集群的数据复制方案,非常值得参考和学习.2. 龙(Dragon)-facebook分布式图索引查询引... 查看详情

分布式技术追踪2017年第三期

p.p1{margin:0.0px0.0px0.0px0.0px;font:31.2px"HelveticaNeue";color:#111111}p.p2{margin:0.0px0.0px0.0px0.0px;font:17.3px"HelveticaNeue";color:#222222}p.p3{margin:0.0px0.0px0.0px0.0px;font:17.3px"Helveti 查看详情

分布式技术追踪2017年第一期

 分布式系统实践1. 大话分布式系统理论基础http://dwz.cn/4UWN7i摘要:一致性是分布式系统的理论基础,这篇文章从2PC,3PC开始,概述了支撑分布式系统一致性的各个理论,便于大家再进行更深入和细致的学习.2. 美团云混合存储... 查看详情

分布式技术追踪2017年第十四期

分布式系统实践1. 稳定和性能如何兼顾?58大数据平台的技术演进与实践http://dwz.cn/5GIKUX摘要: 本文将为你分享58大数据平台在最近一年半内技术演进的过程,包括:58大数据平台目前的整体架构是怎么样的;最近一年半的... 查看详情

分布式技术追踪2017年第十七期

分布式系统实践1. KuduvsHBasehttp://dwz.cn/5PF5gq摘要: Cloudera在2016年发布了新型的分布式存储系统—kudu,kudu从外部形态上来说和HBase非常像,这篇文章分析了二者的差异和定位.2. Leaf——美团点评分布式ID生成系统http://dwz.cn/5PF... 查看详情

分布式技术追踪2017年第二十三期

分布式系统实践1. 比较ApacheHadoop生态系统中不同的文件格式和存储引擎的性能http://dwz.cn/63s0D7摘要: 这篇文章提出了在ApacheHadoop生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能:ApacheAvro,ApacheParquet,ApacheHBa... 查看详情

分布式技术追踪2017年第四十二期

分布式系统实践1. badger一个高性能的LSMK/Vstorehttp://colobu.com/2017/10/11/badger-a-performant-k-v-store摘要: 一款专门为SSD设计的高性能KV存储引擎,相比于RocksDB,badger把key和value分开存储,LSM中只存储key和value的offset,而把value存储在WAL中,... 查看详情

分布式技术追踪2017年第五期

p.p1{margin:0.0px0.0px0.0px0.0px;font:17.3px"HelveticaNeue";color:#666666}p.p2{margin:0.0px0.0px0.0px0.0px;font:31.2px"HelveticaNeue";color:#111111}p.p3{margin:0.0px0.0px0.0px0.0px;font:17.3px"Helveti 查看详情