分布式技术追踪2017年第四十二期

author author     2022-09-23     678

关键词:

分布式系统实践

1. badger 一个高性能的LSM K/V store

http://colobu.com/2017/10/11/badger-a-performant-k-v-store

摘要: 一款专门为SSD设计的高性能KV存储引擎, 相比于RocksDB, badger把key和value分开存储, LSM中只存储key和value的offset, 而把value存储在WAL中, 可以有效降低LSM的写放大从而提升随机读写的性能. 短板就是value和key分开了, scan的性能下降比较多, 适用于只有随机读写的场景.

2. Heron:Twitter的新一代流处理引擎

https://mp.weixin.qq.com/s/cRnvOvp3Pds6KnPXlHEqoA

摘要: Heron是继Storm之后的下一代流式计算系统, 这篇文章介绍了Heron的主要特性, 技术架构和对Storm的改进, 帮助大家概要性的了解Heron.

微服务技术

1. 解析使用 Mesos 管理虚拟机

https://zhuanlan.zhihu.com/p/30050270

摘要: 一直有这个想法, 没想到真的能够实现, 这篇文章讲述了UCloud使用Mesos同时管理容器和虚拟机的经验.

2. Kubernetes之“暂停”容器

https://mp.weixin.qq.com/s/L3gG2D5IYoNKdc3bEgbyaw

摘要: pid为1的Init进程的重要职责就是回收僵尸进程, 然而进入容器时代之后, 由于容器的pid隔离技术, 这就要求每个容器也需要一个Init进程, 否则就可能出现大量的僵尸进程. 这篇文章介绍了k8s的解决方法.

高可用技术

1. Linux不同的IO访问方式中,Scylla的选择和依据

http://www.jianshu.com/p/df86e29f3c66

摘要: 大多数服务应用开发者考虑IO时会重点考虑网络IO,因为他们访问的主要资源都是基于网络的,如数据库、对象存储或其他微服务。而数据库开发者则必须考虑文件IO。本文描述了候选方式和如何权衡,以及为什么Scylla选择异步direct IO(AIO/DIO)作为访问访问。

2. 阿里微服务之殇及分布式链路追踪技术原理

https://mp.weixin.qq.com/s/5-OGTTAL8YM9LcE-YyANOA

摘要: 早就听说阿里的鹰眼系统很厉害, 读完这篇文章之后, 对鹰眼有了一个全面的认识, 从最开始的调用链分析到现在端到端的APM实现, 确实很厉害.

丰富多彩的计算机世界

1. 哪些软素质互联网职场必备

https://mp.weixin.qq.com/s/OSaiF-qWWgu6_UpoxB3h7g

摘要: 非常实用的介绍, 决定一个人成长的往往是这些软素质.

2. 阿里巴巴 CTO 行癫:开源有意思

https://mp.weixin.qq.com/s/643LVeo-86ZFizmpfSi8Eg

摘要: 让我们一起看看”行癫”对阿里开源的看法.

分布式技术追踪2017年第三十二期

分布式系统实践1. 数据一致性-分区可用性-性能——多副本强同步数据库系统实现之我见http://hedengcheng.com/?p=892摘要: 这篇文章非常深入的解释了数据一致性的问题和解决方案,强烈推荐阅读.2. 阿里10年分布式数据库技... 查看详情

分布式技术追踪2017年第五十二期

分布式系统实践1. 换个角度看Aurora:缘何“万能”?对比TiDB有何不同?https://mp.weixin.qq.com/s/iOqRC2M8e5E5-89At-w2Lw摘要: Aurora是AWS里非常重要的一个数据库中间件,2017年在SIGMOD上发表了论文阐述Aurora的设计理念,这篇文章进行了... 查看详情

分布式技术追踪2017年第四十三期

分布式系统实践1. LogDevice:来自Facebook的分布式日志数据存储系统http://www.infoq.com/cn/news/2017/10/LogDevice-Facebook摘要: LogDevice是Facebook研发的新一代日志存储系统,这篇文章简要介绍了LogDevice的设计要点,Facebook计划年底开源,到... 查看详情

分布式技术追踪2017年第四十六期

分布式系统实践1. 分布式系统的时间https://mp.weixin.qq.com/s/NwFzR_rwHCrWxfxrG9h4Qw摘要: 时间对于我们日常生活来说在普通不过了,但是在分布式系统中获取精确的时间却非常困难.这篇文件介绍了分布式系统几种常用的解决方案.2.... 查看详情

分布式技术追踪2017年第二十二期

分布式系统实践1. 列式存储的另一面http://dwz.cn/62D4i5摘要: 列存是很多数据库的数据存储方式,可以有效压缩和访问相近的行,在很多场景下效率都很高.但是列存也并非没有缺点,这篇文章总结了列存的几个缺点,总之还是要... 查看详情

分布式技术追踪2017年第四十四期

分布式系统实践1. 分布式键值存储Dynamo的实现原理https://draveness.me/dynamo摘要: Dynamo是一篇比较老的论文了,如果大家之前没有读过论文,不妨读读这篇文章,可以对Dynamo的核心技术有一个整体的了解.2. 通俗说Sparkhttps://mp.we... 查看详情

分布式技术追踪2017年第四十九期

分布式系统实践1. 为什么SQL正在击败NoSQL,这对未来的数据意味着什么https://mp.weixin.qq.com/s/vU8yu_M4IIwDHhpVUL6e0w摘要: SQL和NoSQL真是一对冤家,分久别合,合久必分.2. OceanBase1.0分布式技术架构https://mp.weixin.qq.com/s/9nEW5aLVLFvpot95O... 查看详情

分布式技术追踪2017年第四十期

分布式系统实践1. 使用Chaos测试分布式系统线性一致性http://www.jianshu.com/p/2e65e6f37c76摘要: 对于分布式系统的线性一致性验证,通常会使用jepsen,但是jepsen必须用clojure语言,很多人不熟悉.这篇文章介绍了一款基于Go开发的线性... 查看详情

分布式技术追踪2017年第四十七期

分布式系统实践1. 直击阿里双11神秘技术:PB级大规模文件分发系统“蜻蜓”https://mp.weixin.qq.com/s/J0O4jD0d4jCjU56wpEJu1w摘要: 2017天猫双11,交易峰值32.5万/秒,支付峰值25.6万/秒,数据库处理峰值4200万次/秒,再次刷新了记录... 查看详情

分布式技术追踪2017年第四十五期

分布式系统实践1. 如何把Docker镜像分发速度提升90+%https://mp.weixin.qq.com/s/eRBLAF0Kfcc5Uwu_55xghA摘要: docker镜像的下载和普通的文件传输并没有本质的区别,提高大规模文件传输效率的办法就是BT了,这篇文章介绍了腾讯基于BT构建P... 查看详情

分布式技术追踪2017年第四十一期

分布式系统实践1. ApacheBeam实战指南之基础入门https://mp.weixin.qq.com/s/rrGR7sWRkrOZ82TrrqFT9Q摘要: Beam是一套能同时支持流式和批量计算框架的SDK,可以方便的实现业务逻辑同时灵活的选择不同的运行框架而无需修改代码,本文是一... 查看详情

分布式技术追踪2018年第二十二期

分布式系统实践1. 面向云数据库,超低延迟文件系统PolarFS诞生了https://mp.weixin.qq.com/s/4s7lDKlQjV1mUoVv558Y7Q摘要: 本周介绍了PolarFS文件系统的设计与实现,相关论文"PolarFS:AnUltra-lowLatencyandFailureResilientDistributedFileSystemforShare 查看详情

分布式技术追踪2018年第二期

分布式系统实践1. 8年实践:从零打造大规模分布式数据库https://mp.weixin.qq.com/s/7SsOg_-Ehjwnvaty5SXmlQ摘要: 这篇文章介绍了阿里云的分布式表格存储系统,结合我们自己做的tera系统,和作者产生了不少共鸣.2. 实例详解ZooKeeperZ... 查看详情

分布式技术追踪2017年第五十一期

分布式系统实践1. 时序数据库技术体系–初识InfluxDBhttp://hbasefly.com/2017/12/08/influxdb-1/摘要: InfluxDB是一款非常优秀的时间序列数据库,这篇文章概要性的介绍了InfluxDB的原理.2. etcdv3原理分析https://yuerblog.cc/2017/12/10/principle-... 查看详情

分布式技术追踪2017年第二十七期

分布式系统实践1. 分布式系统中的时间和顺序——关于Spanner中的Linearizabilityhttp://dwz.cn/6gcYDC摘要: 本文主要介绍了分布式系统中Linearizability概念,以及它与Serializability的区别,并介绍了Spanner中是如何通过TrueTime来实现Linear... 查看详情

分布式技术追踪2017年第十三期

分布式系统实践1. 阿里HBase超详实践总结http://dwz.cn/5D5Q21摘要: 这篇文章详细解释了阿里HBase在跨机房复制,高可用等方面的工作,特别是多集群的数据复制方案,非常值得参考和学习.2. 龙(Dragon)-facebook分布式图索引查询引... 查看详情

分布式技术追踪2017年第三期

p.p1{margin:0.0px0.0px0.0px0.0px;font:31.2px"HelveticaNeue";color:#111111}p.p2{margin:0.0px0.0px0.0px0.0px;font:17.3px"HelveticaNeue";color:#222222}p.p3{margin:0.0px0.0px0.0px0.0px;font:17.3px"Helveti 查看详情

分布式技术追踪2017年第一期

 分布式系统实践1. 大话分布式系统理论基础http://dwz.cn/4UWN7i摘要:一致性是分布式系统的理论基础,这篇文章从2PC,3PC开始,概述了支撑分布式系统一致性的各个理论,便于大家再进行更深入和细致的学习.2. 美团云混合存储... 查看详情