分布式技术追踪2017年第四十一期

author author     2022-09-22     466

关键词:

分布式系统实践

1. Apache Beam实战指南之基础入门

https://mp.weixin.qq.com/s/rrGR7sWRkrOZ82TrrqFT9Q

摘要: Beam是一套能同时支持流式和批量计算框架的SDK, 可以方便的实现业务逻辑同时灵活的选择不同的运行框架而无需修改代码, 本文是一篇入门文章.

2. Uber开源数据流分析平台AthenaX,日均处理1万亿次数据

https://mp.weixin.qq.com/s/K3M6nZx5MFezX7f2C2QfSg

摘要: 通过使用 SQL 作为抽象手段,AthenaX 简化了流分析任务处理方式,并使得用户能够将大规模流分析应用快速引入生产环境。不过没太想明白, 对于数据分析而言是给用户暴露SQL接口好呢, 还是给用户暴露类似Beam这样的SDK好呢?

微服务技术

1. 几种常见的微服务架构方案

https://mp.weixin.qq.com/s/U8aGXozIL27tH7T-zhzlnw

摘要: 这篇文章介绍了几种常见的微服务架构实现方案, 大家可以选择性的深入了解.

2. 微信月活9亿的高效运维之路

https://mp.weixin.qq.com/s/YetteQoNhZHsHe3pCSMXTg

摘要: 这篇文章非常全面的讲述了微信的微服务技术, 包括服务规范, 资源隔离, 容量压测和自动调度, 非常值得学习.

高可用技术

1. 从技术角度谈谈鹿晗这个事儿

https://mp.weixin.qq.com/s/26rTkXmdjVf0OW75Cm4b2Q

摘要: 除了国庆期间的人流车流, 两个北京小孩的恋爱信息让微博瘫痪了一个多小时, 这篇文章从技术人员的视角介绍了这背后的技术, 能够短时间内扩容1000台服务器也说明了微博平时的工作还是很扎实的.

2. Google BBR拥塞控制算法模型初探

https://mp.weixin.qq.com/s/QV4_h8sv_GD5Kg8f2-N1Ig

摘要: BBR算法的优势相比很多同学都听说过了, 不过估计大部分同学都没有动手试过. 这篇文章介绍了实验的方法, 帮助大家动手实践, 可以试试咱们内网环境不同IDC之间的效果.

丰富多彩的计算机世界

1. 49岁的程序员

https://mp.weixin.qq.com/s/G4KdOwoKNyTYOW3J3Wk7qA

摘要: 中国的大龄程序员仍然可以写程序.

2. 如何快速上手一款开源软件

https://mp.weixin.qq.com/s/WgPdlLm3l10XcA6jZrh8Ig

摘要: 真的是非常实用的建议, 推荐每个同学学习.

分布式技术追踪2017年第四十三期

分布式系统实践1. LogDevice:来自Facebook的分布式日志数据存储系统http://www.infoq.com/cn/news/2017/10/LogDevice-Facebook摘要: LogDevice是Facebook研发的新一代日志存储系统,这篇文章简要介绍了LogDevice的设计要点,Facebook计划年底开源,到... 查看详情

分布式技术追踪2017年第四十二期

分布式系统实践1. badger一个高性能的LSMK/Vstorehttp://colobu.com/2017/10/11/badger-a-performant-k-v-store摘要: 一款专门为SSD设计的高性能KV存储引擎,相比于RocksDB,badger把key和value分开存储,LSM中只存储key和value的offset,而把value存储在WAL中,... 查看详情

分布式技术追踪2017年第四十六期

分布式系统实践1. 分布式系统的时间https://mp.weixin.qq.com/s/NwFzR_rwHCrWxfxrG9h4Qw摘要: 时间对于我们日常生活来说在普通不过了,但是在分布式系统中获取精确的时间却非常困难.这篇文件介绍了分布式系统几种常用的解决方案.2.... 查看详情

分布式技术追踪2017年第一期

 分布式系统实践1. 大话分布式系统理论基础http://dwz.cn/4UWN7i摘要:一致性是分布式系统的理论基础,这篇文章从2PC,3PC开始,概述了支撑分布式系统一致性的各个理论,便于大家再进行更深入和细致的学习.2. 美团云混合存储... 查看详情

分布式技术追踪2017年第四十四期

分布式系统实践1. 分布式键值存储Dynamo的实现原理https://draveness.me/dynamo摘要: Dynamo是一篇比较老的论文了,如果大家之前没有读过论文,不妨读读这篇文章,可以对Dynamo的核心技术有一个整体的了解.2. 通俗说Sparkhttps://mp.we... 查看详情

分布式技术追踪2017年第四十九期

分布式系统实践1. 为什么SQL正在击败NoSQL,这对未来的数据意味着什么https://mp.weixin.qq.com/s/vU8yu_M4IIwDHhpVUL6e0w摘要: SQL和NoSQL真是一对冤家,分久别合,合久必分.2. OceanBase1.0分布式技术架构https://mp.weixin.qq.com/s/9nEW5aLVLFvpot95O... 查看详情

分布式技术追踪2017年第四十期

分布式系统实践1. 使用Chaos测试分布式系统线性一致性http://www.jianshu.com/p/2e65e6f37c76摘要: 对于分布式系统的线性一致性验证,通常会使用jepsen,但是jepsen必须用clojure语言,很多人不熟悉.这篇文章介绍了一款基于Go开发的线性... 查看详情

分布式技术追踪2017年第四十七期

分布式系统实践1. 直击阿里双11神秘技术:PB级大规模文件分发系统“蜻蜓”https://mp.weixin.qq.com/s/J0O4jD0d4jCjU56wpEJu1w摘要: 2017天猫双11,交易峰值32.5万/秒,支付峰值25.6万/秒,数据库处理峰值4200万次/秒,再次刷新了记录... 查看详情

分布式技术追踪2017年第四十五期

分布式系统实践1. 如何把Docker镜像分发速度提升90+%https://mp.weixin.qq.com/s/eRBLAF0Kfcc5Uwu_55xghA摘要: docker镜像的下载和普通的文件传输并没有本质的区别,提高大规模文件传输效率的办法就是BT了,这篇文章介绍了腾讯基于BT构建P... 查看详情

分布式技术追踪2018年第三十一期

分布式技术追踪2018年第三十一期分布式系统实践1. Google‘sNewBook:TheSiteReliabilityWorkbookhttp://highscalability.com/blog/2018/7/25/googles-new-book-the-site-reliability-workbook.html摘要: Google关于SRE的第二本书,相对第一本来说 查看详情

分布式技术追踪2018年第一期

分布式系统实践1. 直击阿里新一代数据库技术:如何实现极致弹性能力?https://mp.weixin.qq.com/s/X8fdVKoiGx1chxVjtvk1tw摘要: 数据库来实现存储和计算分离的架构是非常困难的,但是存储和计算分离却是实现极致弹性的基础.这篇文... 查看详情

分布式技术追踪2018年第十一期

分布式系统实践1. 使用SystemTap进行I/O错误注入https://www.jianshu.com/p/3f9881ca1d30摘要: 故障注入是测试分布式系统非常有效的方法,然而故障注入并非易事,这篇文章介绍了使用SystemTap进行故障注入的思路,很值得借鉴.2. 2018存... 查看详情

分布式技术追踪2018年第二十一期

分布式系统实践1. 性能测试工具的CoordinatedOmission问题https://www.jianshu.com/p/bfb2b0f50edd?from=timeline&isappinstalled=0摘要: 性能测试工具需要注意的地方,大家做性能测试工具的时候不妨review一下.2. 聊聊Netflix技术那些大胆的... 查看详情

分布式技术追踪2017年第二十七期

分布式系统实践1. 分布式系统中的时间和顺序——关于Spanner中的Linearizabilityhttp://dwz.cn/6gcYDC摘要: 本文主要介绍了分布式系统中Linearizability概念,以及它与Serializability的区别,并介绍了Spanner中是如何通过TrueTime来实现Linear... 查看详情

分布式技术追踪2017年第十三期

分布式系统实践1. 阿里HBase超详实践总结http://dwz.cn/5D5Q21摘要: 这篇文章详细解释了阿里HBase在跨机房复制,高可用等方面的工作,特别是多集群的数据复制方案,非常值得参考和学习.2. 龙(Dragon)-facebook分布式图索引查询引... 查看详情

分布式技术追踪2017年第三期

p.p1{margin:0.0px0.0px0.0px0.0px;font:31.2px"HelveticaNeue";color:#111111}p.p2{margin:0.0px0.0px0.0px0.0px;font:17.3px"HelveticaNeue";color:#222222}p.p3{margin:0.0px0.0px0.0px0.0px;font:17.3px"Helveti 查看详情

分布式技术追踪2017年第十四期

分布式系统实践1. 稳定和性能如何兼顾?58大数据平台的技术演进与实践http://dwz.cn/5GIKUX摘要: 本文将为你分享58大数据平台在最近一年半内技术演进的过程,包括:58大数据平台目前的整体架构是怎么样的;最近一年半的... 查看详情

分布式技术追踪2017年第十七期

分布式系统实践1. KuduvsHBasehttp://dwz.cn/5PF5gq摘要: Cloudera在2016年发布了新型的分布式存储系统—kudu,kudu从外部形态上来说和HBase非常像,这篇文章分析了二者的差异和定位.2. Leaf——美团点评分布式ID生成系统http://dwz.cn/5PF... 查看详情