分布式技术追踪2017年第十二期

author author     2022-08-25     412

关键词:

分布式系统实践

1. 深入Facebook图数据库系统(TAO)系列

http://dwz.cn/5zQEdo

http://dwz.cn/5zQEBK

http://dwz.cn/5zQEPV

摘要: TAO是Facebook 的分布式图数据库, 存储了Facebook所有的社交关系数据, TAO的QPS超过30亿, 作者曾经在Facebook做过TAO相关的研发工作, 这个系列文章介绍了TAO背后的技术理念.

2. 架构师经常参考的Netflix架构,它的全貌是怎样的?

http://dwz.cn/5Aia5o

摘要: Netflix真是一家神奇的公司, 在开源社区贡献了大量高质量的基础架构代码, 特别是微服务领域, 如果想从单体服务向微服务转变, 必须先参考下Netflix的技术.

 

服务化和虚拟化技术

1. 基于Spring Cloud的微服务架构设计

http://dwz.cn/5zPxgs

http://dwz.cn/5zPYeF

摘要: 微服务的概念很多同学应该都不陌生了, 微服务带来的好处也让大家趋之若鹜. 但是构建微服务平台还是很复杂的, 本文为大家介绍了开源的Spring Cloud, Spring Cloud包含完整的一套微服务解决方案, 如果大家上”微服务”这趟车, 不妨先看看Spring Cloud.

2. 一个可供参考的使用Mesos管理虚拟机的实践分享

http://dwz.cn/5AiFAg

摘要: 只有虚拟机还不够, 虚拟机里需要运行容器, 所以既需要管理虚拟机又需要管理容器. 那二者有没有可能通过一套系统支撑呢? 我一直相信Mesos是完全可以替代OpenStack来管理虚拟机的, 同时Mesos还是非常好的容器管理平台, 这篇文章就是UCloud使用Mesos来管理虚拟机的案例.

 

高可用技术

1. 千亿级eBay平台的Kafka深度实践

http://dwz.cn/5zQSGu

摘要: 看看eBay每天处理千亿消息800台虚拟机构成的Kafka集群是如何运作的.

2. 当前服务器配置能承受多大的QPS?如何评估?

http://dwz.cn/5Aiy5F

摘要: 这篇文章简要介绍了Linkedin的流量自动压测方案, 根据服务的健康状态, 不断调整流量, 从而比较精确的评估系统的整体容量. 不过文章介绍的细节不太多, 期待更多的资料.

 

丰富多彩的计算机世界

1. 程序员,这是你想要的技术leader吗?

http://dwz.cn/5AjmB8

摘要: 非常好的一篇文章, 技术leader应该具备的品质: 技术引领业务, 能理解别人, 勇敢, 勤奋, 脚踏实地, 公平透明, 开放心态, 谦卑, 宽容等等, 与大家共勉.

2. 代码诊所

http://dwz.cn/5AJlr7

http://dwz.cn/5BsCeZ

摘要: 相比与Java工程师, 很多C/C++工程师都不具备面向对象的知识, 写出来还是过程化代码. 这篇文章介绍了作者启动代码诊所的经历和法则, 让大家向面向对象转变.

分布式技术追踪2017年第三十二期

分布式系统实践1. 数据一致性-分区可用性-性能——多副本强同步数据库系统实现之我见http://hedengcheng.com/?p=892摘要: 这篇文章非常深入的解释了数据一致性的问题和解决方案,强烈推荐阅读.2. 阿里10年分布式数据库技... 查看详情

分布式技术追踪2017年第五十二期

分布式系统实践1. 换个角度看Aurora:缘何“万能”?对比TiDB有何不同?https://mp.weixin.qq.com/s/iOqRC2M8e5E5-89At-w2Lw摘要: Aurora是AWS里非常重要的一个数据库中间件,2017年在SIGMOD上发表了论文阐述Aurora的设计理念,这篇文章进行了... 查看详情

分布式技术追踪2017年第二十二期

分布式系统实践1. 列式存储的另一面http://dwz.cn/62D4i5摘要: 列存是很多数据库的数据存储方式,可以有效压缩和访问相近的行,在很多场景下效率都很高.但是列存也并非没有缺点,这篇文章总结了列存的几个缺点,总之还是要... 查看详情

分布式技术追踪2018年第二十二期

分布式系统实践1. 面向云数据库,超低延迟文件系统PolarFS诞生了https://mp.weixin.qq.com/s/4s7lDKlQjV1mUoVv558Y7Q摘要: 本周介绍了PolarFS文件系统的设计与实现,相关论文"PolarFS:AnUltra-lowLatencyandFailureResilientDistributedFileSystemforShare 查看详情

分布式技术追踪2017年第五十一期

分布式系统实践1. 时序数据库技术体系–初识InfluxDBhttp://hbasefly.com/2017/12/08/influxdb-1/摘要: InfluxDB是一款非常优秀的时间序列数据库,这篇文章概要性的介绍了InfluxDB的原理.2. etcdv3原理分析https://yuerblog.cc/2017/12/10/principle-... 查看详情

分布式技术追踪2017年第十三期

分布式系统实践1. 阿里HBase超详实践总结http://dwz.cn/5D5Q21摘要: 这篇文章详细解释了阿里HBase在跨机房复制,高可用等方面的工作,特别是多集群的数据复制方案,非常值得参考和学习.2. 龙(Dragon)-facebook分布式图索引查询引... 查看详情

分布式技术追踪2017年第四十三期

分布式系统实践1. LogDevice:来自Facebook的分布式日志数据存储系统http://www.infoq.com/cn/news/2017/10/LogDevice-Facebook摘要: LogDevice是Facebook研发的新一代日志存储系统,这篇文章简要介绍了LogDevice的设计要点,Facebook计划年底开源,到... 查看详情

分布式技术追踪2017年第十七期

分布式系统实践1. KuduvsHBasehttp://dwz.cn/5PF5gq摘要: Cloudera在2016年发布了新型的分布式存储系统—kudu,kudu从外部形态上来说和HBase非常像,这篇文章分析了二者的差异和定位.2. Leaf——美团点评分布式ID生成系统http://dwz.cn/5PF... 查看详情

分布式技术追踪2017年第二十三期

分布式系统实践1. 比较ApacheHadoop生态系统中不同的文件格式和存储引擎的性能http://dwz.cn/63s0D7摘要: 这篇文章提出了在ApacheHadoop生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能:ApacheAvro,ApacheParquet,ApacheHBa... 查看详情

分布式技术追踪2017年第十四期

分布式系统实践1. 稳定和性能如何兼顾?58大数据平台的技术演进与实践http://dwz.cn/5GIKUX摘要: 本文将为你分享58大数据平台在最近一年半内技术演进的过程,包括:58大数据平台目前的整体架构是怎么样的;最近一年半的... 查看详情

分布式技术追踪2017年第十六期

 分布式系统实践1. 微信高可用分布式数据库PhxSQL设计与实现http://dwz.cn/5MDqea摘要: 微信团队的PhxSQL的文章之前也推荐过,本期再推荐一篇整体介绍PhxSQL的文章,相关代码已经开源.2. 以交易系统为例,看分布式事务架... 查看详情

分布式技术追踪2017年第十八期

分布式系统实践1. 一文读懂大数据计算框架与平台http://dwz.cn/5SgDC5摘要: 这篇文章从批处理模型,流式计算模型和交互式分析模型三个角度总结了开源大数据框架的特点,对于大家了解大数据平台的全貌有一定的帮助.2. ... 查看详情

分布式技术追踪2017年第十九期

分布式系统实践1. BigData-‘基于代价优化’究竟是怎么一回事?http://dwz.cn/5Vq8T8摘要: 很多同学应该都有认识,SQL的join操作很可能是性能杀手,如果写的不好,性能可能会大幅度下降.很多SQL引擎都尝试进行join的优化,其中基... 查看详情

分布式技术追踪2017年第四十一期

分布式系统实践1. ApacheBeam实战指南之基础入门https://mp.weixin.qq.com/s/rrGR7sWRkrOZ82TrrqFT9Q摘要: Beam是一套能同时支持流式和批量计算框架的SDK,可以方便的实现业务逻辑同时灵活的选择不同的运行框架而无需修改代码,本文是一... 查看详情

分布式技术追踪2018年第二期

分布式系统实践1. 8年实践:从零打造大规模分布式数据库https://mp.weixin.qq.com/s/7SsOg_-Ehjwnvaty5SXmlQ摘要: 这篇文章介绍了阿里云的分布式表格存储系统,结合我们自己做的tera系统,和作者产生了不少共鸣.2. 实例详解ZooKeeperZ... 查看详情

分布式技术追踪2018年第三十一期

分布式技术追踪2018年第三十一期分布式系统实践1. Google‘sNewBook:TheSiteReliabilityWorkbookhttp://highscalability.com/blog/2018/7/25/googles-new-book-the-site-reliability-workbook.html摘要: Google关于SRE的第二本书,相对第一本来说 查看详情

分布式技术追踪2018年第十一期

分布式系统实践1. 使用SystemTap进行I/O错误注入https://www.jianshu.com/p/3f9881ca1d30摘要: 故障注入是测试分布式系统非常有效的方法,然而故障注入并非易事,这篇文章介绍了使用SystemTap进行故障注入的思路,很值得借鉴.2. 2018存... 查看详情

分布式技术追踪2018年第十四期

分布式系统实践1. 聊聊ChaosEngineering的历史、原则和最佳实践https://mp.weixin.qq.com/s/-8gpUlbmlDDyOf7AqaFdTAhttps://www.jianshu.com/p/c8f78b8db2a0?from=timeline&isappinstalled=0摘要: 混沌工程是进行分布式异常测试的一种有效手段,自Ne 查看详情