分布式技术追踪2017年第四十七期

author author     2022-10-02     427

关键词:

分布式系统实践

1. 直击阿里双11神秘技术:PB级大规模文件分发系统“蜻蜓”

https://mp.weixin.qq.com/s/J0O4jD0d4jCjU56wpEJu1w

摘要: 2017天猫双11, 交易峰值32.5万/秒,支付峰值25.6万/秒,数据库处理峰值4200万次/秒,再次刷新了记录。阿里集团基础设施蜻蜓,在双11期间,对上万台服务器同时下发5GB的数据文件,让大规模文件分发靠蜻蜓系统完美实现。

2. MillWheel: Google是如何在事件流处理上做到exactly one semantic的

https://mp.weixin.qq.com/s/EmAhBjZnLns_25gR-aVgwg

摘要: MillWheel是一篇非常经典的流式计算系统的论文, 文章中原创的low watermark和per key storage影响了很多流式系统的设计.

微服务技术

1. 浅论Prometheus容器监控优缺点,2.0版本哪项改进受关注?

https://mp.weixin.qq.com/s/83YZ9nbu_ItjJmwFHMyjOA

摘要: Prometheus发布了2.0版本, 这篇文章介绍了Prometheus的设计理念以及新版本的特性.

2. Kubernetes调度详解

https://mp.weixin.qq.com/s/YzGZbWiXVf5TRzqFH16Ifg

摘要: 优良的调度是分布式系统的核心。Scheduler调度器做为Kubernetes三大核心组件之一, 承载着整个集群资源的调度功能,其根据特定调度算法和策略,将Pod调度到最优工作节点上,从而更合理与充分的利用集群计算资源,使资源更好的服务于业务服务的需求。

高可用技术

1. 3分钟了解稳定性利器Hystrix——让你的服务更稳一点

https://mp.weixin.qq.com/s/VL1-63tGGvavhZD_mugtZQ

摘要: 在分布式服务环境下,服务之间的调用关系变得错综复杂,你是否担心依赖的服务延迟导致自己的服务也被拖跨呢?是否在苦苦思考如何优雅的对依赖服务进行异步调用呢?是否希望当流量高峰时自动进行服务降级避免把自己线程耗尽而宕机?以上的问题,Hystrix能有效的解决。

2. 微博如今能应对多少明星同时出轨?

https://mp.weixin.qq.com/s/pTP07u8GDe04fT0OdFqMRA

摘要: 这篇文章介绍了微博弹性伸缩机制, 主要包括全数据日志分析系统, 实时监控系统和混合云平台DCP等内容.

丰富多彩的计算机世界

1. 41岁阿里工程师:35岁转管理,真的是必经之路吗?

https://mp.weixin.qq.com/s/zzT3hHYZOBcly9V5tx5VBw

摘要: 墨玦,阿里巴巴 iDST 高级技术专家。博士毕业于北京邮电大学,计算机应用专业,目前主要从事语音技术工程化方面的研发。回顾在阿里的三年时光,他感慨良多,写下了这篇总结,与大家共勉。

2. 程序员,你该如何管理你的老板?

https://mp.weixin.qq.com/s/ILjF9C1hNaOZJtTo-UZm3w

摘要: 从来只听说过老板管理属下,几时听过属下管理老板?向上管理是最难做到的管理方法,但做好向上管理,对个人却有非常大的裨益。

分布式技术追踪2017年第十七期

分布式系统实践1. KuduvsHBasehttp://dwz.cn/5PF5gq摘要: Cloudera在2016年发布了新型的分布式存储系统—kudu,kudu从外部形态上来说和HBase非常像,这篇文章分析了二者的差异和定位.2. Leaf——美团点评分布式ID生成系统http://dwz.cn/5PF... 查看详情

分布式技术追踪2017年第三十七期

分布式系统实践1. 微信开源PhxQueue:高可用、高可靠、高性能的分布式队列https://mp.weixin.qq.com/s/Hr4TUg8o1AQkowQpSDIhYA摘要: PhxQueue是微信开源的一款基于Paxos协议实现的高可用、高吞吐和高可靠的分布式队列,保证At-Least-OnceDeli... 查看详情

分布式技术追踪2018年第十七期

分布式系统实践1. 从HBase中移除WAL?3DXPoint技术带来的变革https://mp.weixin.qq.com/s/GQeVyR8qMnvHl14xJgaUWA摘要: 借助非易失内存消除HBase的WAL确实是可以撼动HBase架构的重大特性,期待更多细节公布.2. 认清性能问题https://mp.weixin.qq... 查看详情

分布式技术追踪2017年第四十三期

分布式系统实践1. LogDevice:来自Facebook的分布式日志数据存储系统http://www.infoq.com/cn/news/2017/10/LogDevice-Facebook摘要: LogDevice是Facebook研发的新一代日志存储系统,这篇文章简要介绍了LogDevice的设计要点,Facebook计划年底开源,到... 查看详情

分布式技术追踪2017年第四十二期

分布式系统实践1. badger一个高性能的LSMK/Vstorehttp://colobu.com/2017/10/11/badger-a-performant-k-v-store摘要: 一款专门为SSD设计的高性能KV存储引擎,相比于RocksDB,badger把key和value分开存储,LSM中只存储key和value的offset,而把value存储在WAL中,... 查看详情

分布式技术追踪2017年第四十六期

分布式系统实践1. 分布式系统的时间https://mp.weixin.qq.com/s/NwFzR_rwHCrWxfxrG9h4Qw摘要: 时间对于我们日常生活来说在普通不过了,但是在分布式系统中获取精确的时间却非常困难.这篇文件介绍了分布式系统几种常用的解决方案.2.... 查看详情

分布式技术追踪2017年第四十四期

分布式系统实践1. 分布式键值存储Dynamo的实现原理https://draveness.me/dynamo摘要: Dynamo是一篇比较老的论文了,如果大家之前没有读过论文,不妨读读这篇文章,可以对Dynamo的核心技术有一个整体的了解.2. 通俗说Sparkhttps://mp.we... 查看详情

分布式技术追踪2017年第四十九期

分布式系统实践1. 为什么SQL正在击败NoSQL,这对未来的数据意味着什么https://mp.weixin.qq.com/s/vU8yu_M4IIwDHhpVUL6e0w摘要: SQL和NoSQL真是一对冤家,分久别合,合久必分.2. OceanBase1.0分布式技术架构https://mp.weixin.qq.com/s/9nEW5aLVLFvpot95O... 查看详情

分布式技术追踪2017年第四十期

分布式系统实践1. 使用Chaos测试分布式系统线性一致性http://www.jianshu.com/p/2e65e6f37c76摘要: 对于分布式系统的线性一致性验证,通常会使用jepsen,但是jepsen必须用clojure语言,很多人不熟悉.这篇文章介绍了一款基于Go开发的线性... 查看详情

分布式技术追踪2017年第四十五期

分布式系统实践1. 如何把Docker镜像分发速度提升90+%https://mp.weixin.qq.com/s/eRBLAF0Kfcc5Uwu_55xghA摘要: docker镜像的下载和普通的文件传输并没有本质的区别,提高大规模文件传输效率的办法就是BT了,这篇文章介绍了腾讯基于BT构建P... 查看详情

分布式技术追踪2017年第四十一期

分布式系统实践1. ApacheBeam实战指南之基础入门https://mp.weixin.qq.com/s/rrGR7sWRkrOZ82TrrqFT9Q摘要: Beam是一套能同时支持流式和批量计算框架的SDK,可以方便的实现业务逻辑同时灵活的选择不同的运行框架而无需修改代码,本文是一... 查看详情

分布式技术追踪2018年第七期

分布式系统实践1. Apache下流处理项目巡览https://mp.weixin.qq.com/s/HCKpLP0bvuBNWaQFQWLp0g摘要: 最近几年,数据的生成、消费、处理以及分析的速度惊人地增长,社交媒体、物联网、游戏等领域产生的数据都需要以接近实时的速度... 查看详情

分布式技术追踪2017年第五十一期

分布式系统实践1. 时序数据库技术体系–初识InfluxDBhttp://hbasefly.com/2017/12/08/influxdb-1/摘要: InfluxDB是一款非常优秀的时间序列数据库,这篇文章概要性的介绍了InfluxDB的原理.2. etcdv3原理分析https://yuerblog.cc/2017/12/10/principle-... 查看详情

分布式技术追踪2017年第十三期

分布式系统实践1. 阿里HBase超详实践总结http://dwz.cn/5D5Q21摘要: 这篇文章详细解释了阿里HBase在跨机房复制,高可用等方面的工作,特别是多集群的数据复制方案,非常值得参考和学习.2. 龙(Dragon)-facebook分布式图索引查询引... 查看详情

分布式技术追踪2017年第三期

p.p1{margin:0.0px0.0px0.0px0.0px;font:31.2px"HelveticaNeue";color:#111111}p.p2{margin:0.0px0.0px0.0px0.0px;font:17.3px"HelveticaNeue";color:#222222}p.p3{margin:0.0px0.0px0.0px0.0px;font:17.3px"Helveti 查看详情

分布式技术追踪2017年第一期

 分布式系统实践1. 大话分布式系统理论基础http://dwz.cn/4UWN7i摘要:一致性是分布式系统的理论基础,这篇文章从2PC,3PC开始,概述了支撑分布式系统一致性的各个理论,便于大家再进行更深入和细致的学习.2. 美团云混合存储... 查看详情

分布式技术追踪2017年第十四期

分布式系统实践1. 稳定和性能如何兼顾?58大数据平台的技术演进与实践http://dwz.cn/5GIKUX摘要: 本文将为你分享58大数据平台在最近一年半内技术演进的过程,包括:58大数据平台目前的整体架构是怎么样的;最近一年半的... 查看详情

分布式技术追踪2017年第二十三期

分布式系统实践1. 比较ApacheHadoop生态系统中不同的文件格式和存储引擎的性能http://dwz.cn/63s0D7摘要: 这篇文章提出了在ApacheHadoop生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能:ApacheAvro,ApacheParquet,ApacheHBa... 查看详情