分布式技术追踪2017年第三期

author author     2022-08-20     637

关键词:

技术分享

分布式系统实践

1. 基于Spark GraphX实现微博二度关系推荐

http://dwz.cn/51OflC

摘要: 基于图的关系挖掘和计算是互联网算法中非常常见的一种计算模型. 比如经典的pagerank, 微博微信的好友推荐等等. 本文从架构和算法两个方面, 非常详细的介绍了微博基于GraphX实现的二度关系的计算过程.

2. 基于 Kafka 和 ElasticSearch,LinkedIn是如何构建实时日志分析系统的?

http://dwz.cn/52j43b

摘要: 及时有效的搜索日志可以说是服务治理工作中非常重要的一个环节. 这篇文章介绍了linkedin是如何使用ELK逐步构建起来完善的日志检索的, 特别宝贵的是, 文章介绍了很多使用ELK过程中的坑, 值得大家学习和借鉴. 另外去年年底在velocity大会上介绍, linkedin服务器数量是5w台, 这里提到使用了1000+服务器部署ELK, 可见linkedin投入之大以及问题的重要性.

 

服务化和虚拟化技术

1. 关于两种CI/CD策略以及Git分支模型的思考

http://dwz.cn/52jZgN

摘要: git伟大之初就在于简单的分支管理, 所以基于git的分支模型引出了几种常见的git-flow. 这篇文章对两种最为常见的git flow进行了对比, 各有利弊, 帮助大家选择适合自己团队的git flow.

2. 容器监控的工具和流程

http://dwz.cn/54vv4y

摘要: 随着容器的发展, 基于容器的日志采集工具也是百花齐放. 这篇文章分析了主流基于容器的日志收集系统, 其中cAdvisor和Prometheus是比较流行的.

 

高可用技术

1. GSLB Is Hard - Part I

http://dwz.cn/51NRqM

摘要: GSLB就是Global Server Load Balancing. GSLB是互联网公司必不可少的基础中间件, 但是要想实现功能完备的GSLB可不是容易的事情, 这篇文章来自Google SRE之手, 深入的阐述了GSLB的技术细节.

2. 全链路压测军演系统(ForceBot)

http://dwz.cn/53mdhK

摘要: 任何一个大规模分布式系统, 如果想准确的评估当前系统能够承载的最大容量, 只有压测这样一种有效的手段. 然而压测一方面不能影响正常的用户流量, 另一方面还需要模拟大量用户的行为, 技术复杂度就比较高了. 这篇文章介绍了京东全链路压测系统的架构, 给我们实现压测系统提供了参考.

 

运维和DevOps技术

1. 从 MONGODB “赎金事件” 看安全问题

http://dwz.cn/51NBuN

摘要: 周末被mongodb事件刷屏了, 耗子哥也第一时间做了实验进行验证, 果然轻松的登录了几台mongodb上了. 使用mongodb的同学们一定要注意设置口令, 并且不要把这样的后端服务暴露在公网上.

2. 基于时间序列数据的监控实践

http://dwz.cn/51O155

摘要: 监控数据呈现时间序列的特性, 所以出现了针对时间序列的数据库TSDB. 这篇文章借鉴了borgmon的设计思想, 基于prometheus和grafana实现了数人云的监控系统. prometheus和grafana都是我非常喜欢的开源软件, 可以说是构建监控系统的不二选择.

 

丰富多彩的计算机世界

1. 深度学习、信息论与统计学

http://dwz.cn/52Q82d

摘要: 当前人工智能的核心技术就是深度学习了, 那么到底什么是深度学习? 本文从信息论和统计学的角度, 高度的科普了支撑深度学习的理论基础, 让我们这些小白也可以了解深度学习的基本原理.

2. 架构师的必备素质和成长途径

http://dwz.cn/52WowV

摘要: 架构师可能是很多同学未来一段时间的职业目标, 但是成为优秀的架构师是很困难的. 这篇文章的作者拥有非常丰富的海外架构师经验, 给我们介绍了自己架构师的成长之路, 值得大家学习和思考.

分布式技术追踪2017年第四十三期

分布式系统实践1. LogDevice:来自Facebook的分布式日志数据存储系统http://www.infoq.com/cn/news/2017/10/LogDevice-Facebook摘要: LogDevice是Facebook研发的新一代日志存储系统,这篇文章简要介绍了LogDevice的设计要点,Facebook计划年底开源,到... 查看详情

分布式技术追踪2017年第二十三期

分布式系统实践1. 比较ApacheHadoop生态系统中不同的文件格式和存储引擎的性能http://dwz.cn/63s0D7摘要: 这篇文章提出了在ApacheHadoop生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能:ApacheAvro,ApacheParquet,ApacheHBa... 查看详情

分布式技术追踪2018年第三期

分布式系统实践1. InfluxDBTSM存储引擎之TSMFilehttp://hbasefly.com/2018/01/13/timeseries-database-4/摘要: influxDB是一款非常知名的时间序列数据库,这篇文章重点介绍了influxDB的存储引擎TSM的细节,帮助大家理解influxDB是如何实现高效存储... 查看详情

分布式技术追踪2018年第十三期

分布式系统实践1. 细数云计算里的虚拟化https://mp.weixin.qq.com/s/AFsX1uQ6YzYePGa4MNWfGQ摘要: 虚拟化技术有很长历史了,这篇文章总结了AWS的虚拟化技术演变过程.2. 阳振坤:当我们在谈论金融级分布式数据库的时候,其实是在... 查看详情

分布式技术追踪2017年第五十一期

分布式系统实践1. 时序数据库技术体系–初识InfluxDBhttp://hbasefly.com/2017/12/08/influxdb-1/摘要: InfluxDB是一款非常优秀的时间序列数据库,这篇文章概要性的介绍了InfluxDB的原理.2. etcdv3原理分析https://yuerblog.cc/2017/12/10/principle-... 查看详情

分布式技术追踪2017年第二十七期

分布式系统实践1. 分布式系统中的时间和顺序——关于Spanner中的Linearizabilityhttp://dwz.cn/6gcYDC摘要: 本文主要介绍了分布式系统中Linearizability概念,以及它与Serializability的区别,并介绍了Spanner中是如何通过TrueTime来实现Linear... 查看详情

分布式技术追踪2017年第一期

 分布式系统实践1. 大话分布式系统理论基础http://dwz.cn/4UWN7i摘要:一致性是分布式系统的理论基础,这篇文章从2PC,3PC开始,概述了支撑分布式系统一致性的各个理论,便于大家再进行更深入和细致的学习.2. 美团云混合存储... 查看详情

分布式技术追踪2017年第十四期

分布式系统实践1. 稳定和性能如何兼顾?58大数据平台的技术演进与实践http://dwz.cn/5GIKUX摘要: 本文将为你分享58大数据平台在最近一年半内技术演进的过程,包括:58大数据平台目前的整体架构是怎么样的;最近一年半的... 查看详情

分布式技术追踪2017年第十七期

分布式系统实践1. KuduvsHBasehttp://dwz.cn/5PF5gq摘要: Cloudera在2016年发布了新型的分布式存储系统—kudu,kudu从外部形态上来说和HBase非常像,这篇文章分析了二者的差异和定位.2. Leaf——美团点评分布式ID生成系统http://dwz.cn/5PF... 查看详情

分布式技术追踪2017年第四十六期

分布式系统实践1. 分布式系统的时间https://mp.weixin.qq.com/s/NwFzR_rwHCrWxfxrG9h4Qw摘要: 时间对于我们日常生活来说在普通不过了,但是在分布式系统中获取精确的时间却非常困难.这篇文件介绍了分布式系统几种常用的解决方案.2.... 查看详情

分布式技术追踪2017年第四十二期

分布式系统实践1. badger一个高性能的LSMK/Vstorehttp://colobu.com/2017/10/11/badger-a-performant-k-v-store摘要: 一款专门为SSD设计的高性能KV存储引擎,相比于RocksDB,badger把key和value分开存储,LSM中只存储key和value的offset,而把value存储在WAL中,... 查看详情

分布式技术追踪2017年第五期

p.p1{margin:0.0px0.0px0.0px0.0px;font:17.3px"HelveticaNeue";color:#666666}p.p2{margin:0.0px0.0px0.0px0.0px;font:31.2px"HelveticaNeue";color:#111111}p.p3{margin:0.0px0.0px0.0px0.0px;font:17.3px"Helveti 查看详情

分布式技术追踪2017年第六期

p.p1{margin:0.0px0.0px0.0px0.0px;font:31.2px"HelveticaNeue";color:#111111}p.p2{margin:0.0px0.0px0.0px0.0px;font:17.3px"HelveticaNeue";color:#222222}p.p3{margin:0.0px0.0px0.0px0.0px;font:17.3px"Helveti 查看详情

分布式技术追踪2017年第十二期

p.p1{margin:0.0px0.0px0.0px0.0px;font:31.2px"HelveticaNeue";color:#111111}p.p2{margin:0.0px0.0px0.0px0.0px;font:17.3px"HelveticaNeue";color:#222222}p.p3{margin:0.0px0.0px0.0px0.0px;font:17.3px"Helveti 查看详情

分布式技术追踪2017年第四十四期

分布式系统实践1. 分布式键值存储Dynamo的实现原理https://draveness.me/dynamo摘要: Dynamo是一篇比较老的论文了,如果大家之前没有读过论文,不妨读读这篇文章,可以对Dynamo的核心技术有一个整体的了解.2. 通俗说Sparkhttps://mp.we... 查看详情

分布式技术追踪2017年第五十期

分布式系统实践1. 系统设计高频:设计分布式文件系统GoogleFileSystemhttps://mp.weixin.qq.com/s/RzPgT4eIEcqFOZM6xmDGpw摘要: 这篇文章讲gfs的文章我觉得写的特别好,不是一味的翻译文章,而是从为什么讲到怎么做,让我们可以更深刻的理... 查看详情

分布式技术追踪2017年第十六期

 分布式系统实践1. 微信高可用分布式数据库PhxSQL设计与实现http://dwz.cn/5MDqea摘要: 微信团队的PhxSQL的文章之前也推荐过,本期再推荐一篇整体介绍PhxSQL的文章,相关代码已经开源.2. 以交易系统为例,看分布式事务架... 查看详情

分布式技术追踪2017年第四十九期

分布式系统实践1. 为什么SQL正在击败NoSQL,这对未来的数据意味着什么https://mp.weixin.qq.com/s/vU8yu_M4IIwDHhpVUL6e0w摘要: SQL和NoSQL真是一对冤家,分久别合,合久必分.2. OceanBase1.0分布式技术架构https://mp.weixin.qq.com/s/9nEW5aLVLFvpot95O... 查看详情