分布式技术追踪2017年第三十七期

author author     2022-09-19     510

关键词:

分布式系统实践

1. 微信开源PhxQueue:高可用、高可靠、高性能的分布式队列

https://mp.weixin.qq.com/s/Hr4TUg8o1AQkowQpSDIhYA

摘要: PhxQueue 是微信开源的一款基于 Paxos 协议实现的高可用、高吞吐和高可靠的分布式队列,保证At-Least-Once Delivery,在微信内部广泛支持微信支付、公众平台等多个重要业务。

2. 链家大数据多维分析引擎实践

https://mp.weixin.qq.com/s/nal1vKBcsQU3wgV5f4XH0g

摘要: 大数据背景下,传统关系型多维分析 ROLAP 引擎遇到极大挑战,因而链家转向基于 Hadoop 生态的 MOLAP(Kylin)及 HOLAP (多引擎)。这篇文章分享了链家在多维分析引擎方面的一些实践经验,主要从 OLAP 的背景和简介、链家多维分析架构演进和展望、OLAP 平台链路优化这三部分来介绍。

微服务技术

1. DC/OS 1.10:一个面向容器化未来的平台

https://mp.weixin.qq.com/s/cLyVRLpZf6l73fEgKYY5Tw

摘要: DC/OS竟然提供了k8s的容器编排引擎真是让人意想不到, 这篇文章介绍的比较简略, 感兴趣的同学可以查阅其他资料.

2. 去哪儿网基于Mesos和Docker构建私有云服务的实践

https://mp.weixin.qq.com/s/qdRgLuSc-pg1CLsvY70TQA

摘要: 本文深入介绍了去哪儿网利用Mesos和Docker构建私有云服务的全过程,分享了从无状态应用向有状态应用逐步过度的经验与心得。

高可用技术

1. 如何设计高可用的微服务架构?

https://mp.weixin.qq.com/s/W3Vn0EgCjWpjJ365Pv30iw

摘要: 动态的环境和分布式的系统,比如微服务,它们出现故障的几率更大;发生故障的服务应该被隔离开来,实现优雅的服务降级,提升用户体验;70% 的故障都是因为代码变更引起的,所以有时候回退代码并不算是什么坏事;如果发生故障,就要让它们快速而独立的发生;一个团队无法控制他们服务的依赖项;缓存、隔板、回路断路器和速率限定器这些架构模式有助于构建可靠的微服务。

2. 使用 pprof 和火焰图调试 golang 应用

http://cizixs.com/2017/09/11/profiling-golang-program

摘要: 这篇文章介绍了golang自带的profiling工具的用法, 其实非常类似于C++的gperftools, 使用gperftools的同学也可以参考.

丰富多彩的计算机世界

1. 小米首席架构师崔宝秋:如何成为值得追随的技术领导者

https://mp.weixin.qq.com/s/JjnsLjFt4_Jyjwy7uICnlA

摘要: 这篇文章来自小米首席架构师崔宝秋, 讲述了值得追随的技术领导者的气质, 与大家共勉.

2. 技术人如何修炼内功

https://mp.weixin.qq.com/s/cUMyqTNfoh3YtKfqXNhiEQ

摘要: 读过作者写过的好几篇技术文章, 介绍分布式事务, 高并发程序设计等内容, 文章写的非常深入. 这篇文章是作者对于提升技术人能力的一篇总结.

分布式技术追踪2017年第十七期

分布式系统实践1. KuduvsHBasehttp://dwz.cn/5PF5gq摘要: Cloudera在2016年发布了新型的分布式存储系统—kudu,kudu从外部形态上来说和HBase非常像,这篇文章分析了二者的差异和定位.2. Leaf——美团点评分布式ID生成系统http://dwz.cn/5PF... 查看详情

分布式技术追踪2017年第四十七期

分布式系统实践1. 直击阿里双11神秘技术:PB级大规模文件分发系统“蜻蜓”https://mp.weixin.qq.com/s/J0O4jD0d4jCjU56wpEJu1w摘要: 2017天猫双11,交易峰值32.5万/秒,支付峰值25.6万/秒,数据库处理峰值4200万次/秒,再次刷新了记录... 查看详情

分布式技术追踪2018年第十七期

分布式系统实践1. 从HBase中移除WAL?3DXPoint技术带来的变革https://mp.weixin.qq.com/s/GQeVyR8qMnvHl14xJgaUWA摘要: 借助非易失内存消除HBase的WAL确实是可以撼动HBase架构的重大特性,期待更多细节公布.2. 认清性能问题https://mp.weixin.qq... 查看详情

分布式技术追踪2017年第三十四期

分布式系统实践1. Linearizability一致性验证http://dwz.cn/6pPYpb摘要: 一致性是分布式系统很常见的特性,Jepsen是验证分布式系统一致性的有力工具.这篇文件中介绍了Jepsen的原理,文章有点深奥,不太容易懂.2. 深入浅出阿里云新... 查看详情

分布式技术追踪2017年第三十二期

分布式系统实践1. 数据一致性-分区可用性-性能——多副本强同步数据库系统实现之我见http://hedengcheng.com/?p=892摘要: 这篇文章非常深入的解释了数据一致性的问题和解决方案,强烈推荐阅读.2. 阿里10年分布式数据库技... 查看详情

分布式技术追踪2017年第三十六期

分布式系统实践1. 当LSM遇上SSDhttps://mp.weixin.qq.com/s/HAaTVtg4SlaGLcn1QZpw9A摘要: 以LevelDB为代表的LSM-tree存储引擎几乎一统天下,然而代价是几十到上百倍的写放大.随着SSD在随机IO上的突破,这么高的写放大就显得不那么经济了,这... 查看详情

分布式技术追踪2018年第七期

分布式系统实践1. Apache下流处理项目巡览https://mp.weixin.qq.com/s/HCKpLP0bvuBNWaQFQWLp0g摘要: 最近几年,数据的生成、消费、处理以及分析的速度惊人地增长,社交媒体、物联网、游戏等领域产生的数据都需要以接近实时的速度... 查看详情

分布式技术追踪2018年第三十一期

分布式技术追踪2018年第三十一期分布式系统实践1. Google‘sNewBook:TheSiteReliabilityWorkbookhttp://highscalability.com/blog/2018/7/25/googles-new-book-the-site-reliability-workbook.html摘要: Google关于SRE的第二本书,相对第一本来说 查看详情

分布式技术追踪2017年第五十一期

分布式系统实践1. 时序数据库技术体系–初识InfluxDBhttp://hbasefly.com/2017/12/08/influxdb-1/摘要: InfluxDB是一款非常优秀的时间序列数据库,这篇文章概要性的介绍了InfluxDB的原理.2. etcdv3原理分析https://yuerblog.cc/2017/12/10/principle-... 查看详情

分布式技术追踪2017年第四十三期

分布式系统实践1. LogDevice:来自Facebook的分布式日志数据存储系统http://www.infoq.com/cn/news/2017/10/LogDevice-Facebook摘要: LogDevice是Facebook研发的新一代日志存储系统,这篇文章简要介绍了LogDevice的设计要点,Facebook计划年底开源,到... 查看详情

分布式技术追踪2017年第十三期

分布式系统实践1. 阿里HBase超详实践总结http://dwz.cn/5D5Q21摘要: 这篇文章详细解释了阿里HBase在跨机房复制,高可用等方面的工作,特别是多集群的数据复制方案,非常值得参考和学习.2. 龙(Dragon)-facebook分布式图索引查询引... 查看详情

分布式技术追踪2017年第三期

p.p1{margin:0.0px0.0px0.0px0.0px;font:31.2px"HelveticaNeue";color:#111111}p.p2{margin:0.0px0.0px0.0px0.0px;font:17.3px"HelveticaNeue";color:#222222}p.p3{margin:0.0px0.0px0.0px0.0px;font:17.3px"Helveti 查看详情

分布式技术追踪2017年第一期

 分布式系统实践1. 大话分布式系统理论基础http://dwz.cn/4UWN7i摘要:一致性是分布式系统的理论基础,这篇文章从2PC,3PC开始,概述了支撑分布式系统一致性的各个理论,便于大家再进行更深入和细致的学习.2. 美团云混合存储... 查看详情

分布式技术追踪2017年第十四期

分布式系统实践1. 稳定和性能如何兼顾?58大数据平台的技术演进与实践http://dwz.cn/5GIKUX摘要: 本文将为你分享58大数据平台在最近一年半内技术演进的过程,包括:58大数据平台目前的整体架构是怎么样的;最近一年半的... 查看详情

分布式技术追踪2017年第四十六期

分布式系统实践1. 分布式系统的时间https://mp.weixin.qq.com/s/NwFzR_rwHCrWxfxrG9h4Qw摘要: 时间对于我们日常生活来说在普通不过了,但是在分布式系统中获取精确的时间却非常困难.这篇文件介绍了分布式系统几种常用的解决方案.2.... 查看详情

分布式技术追踪2017年第二十三期

分布式系统实践1. 比较ApacheHadoop生态系统中不同的文件格式和存储引擎的性能http://dwz.cn/63s0D7摘要: 这篇文章提出了在ApacheHadoop生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能:ApacheAvro,ApacheParquet,ApacheHBa... 查看详情

分布式技术追踪2017年第四十二期

分布式系统实践1. badger一个高性能的LSMK/Vstorehttp://colobu.com/2017/10/11/badger-a-performant-k-v-store摘要: 一款专门为SSD设计的高性能KV存储引擎,相比于RocksDB,badger把key和value分开存储,LSM中只存储key和value的offset,而把value存储在WAL中,... 查看详情

分布式技术追踪2017年第五期

p.p1{margin:0.0px0.0px0.0px0.0px;font:17.3px"HelveticaNeue";color:#666666}p.p2{margin:0.0px0.0px0.0px0.0px;font:31.2px"HelveticaNeue";color:#111111}p.p3{margin:0.0px0.0px0.0px0.0px;font:17.3px"Helveti 查看详情