关键词：
图3-4 TOR容灾-挑战
最后一个集群管理优化是TOR容灾。随着集群规模的变大，Rack级别的故障变得平凡起来，而我们是无法容忍Rack级别的故障的，因为Rack级别的故障可能会导致分区不可用，原因是分区的多副本在同一个rack下，特别是在流存储环境下，当某些分区不可用时，它会导致收集侧的拥堵，影响其他topic的收集上报。并且当实时作业的某个分区出现异常时，它会影响整个链路。
如图3-4所示，当rack1发生故障时，TopicPartition1是完全不可用的，因为他的两个副本都在rack1上，TopicPartition2也是不可用的，虽然他有三个副本，但是他的两个副本都已经不可用了。
图3-5 TOR容灾-改进
针对Rack级别的故障，我们做了TOR容灾。改进了副本的分配算法，保证同一个分区的不同副本不在同一个rack下，如图3-5所示，即使rack1整个发生故障，也能保证所有分区是可用的。
四、未来展望
最后介绍一下美团数据平台的Kafka未来可以做哪些优化：首先我们会继续去做Kafka的高可用建设，比如说客户端主动去做一些故障节点的避让，服务端通过多队列的方式去隔离一些异常请求，避免它们之间相互影响。另外，高可靠方面会去做quorum write多数派写优化，因为Kafka的ack等于1时是需要写入所有副本的。我们还会去做流批一体的存储架构，比如Kafka on HDFS。
美团超1.5万台kafka，抗下每秒数亿消息量的挑战！
...么区别？大家好，我是终端研发部的小于哥。Kafka在美团数据平台承担着统一的数据缓存和分发的角色，随着数据量的增长，集群规模的扩大，Kafka面临的挑战也愈发严峻。本文分享了美团Kafka面临的实际挑战&#... 查看详情
apachekylin在美团数十亿数据olap场景下的实践
参考技术A美团各业务线存在大量的OLAP分析场景，需要基于Hadoop数十亿级别的数据进行分析，直接响应分析师和城市BD等数千人的交互式访问请求，对OLAP服务的扩展性、稳定性、数据精确性和性能均有很高要求。本文主要介绍美... 查看详情
[转帖]浪潮openstack的逆袭(代码片段)
扬长补短浪潮云平台的逆袭http://blog.itpub.net/11310314/viewspace-2564083/ 浪潮并不是最早加入OpenStack的国内厂商，却实现同比303.1%的高速增长，这背后有着怎样的秘密？ 2018年，云计算市场风起云涌，公有云市场持续高速增... 查看详情
深度学习在美团点评推荐平台排序中的运用
深度学习在美团点评推荐平台排序中的运用原文地址：https://tech.meituan.com/dl.html潘晖美团点评搜索推荐团队 ·2017-07-2814:33美团点评作为国内最大的生活服务平台，业务种类涉及食、住、行、玩、乐等领域，致力于让大家吃得... 查看详情
深度学习在美团点评推荐平台排序中的应用--学习笔记
...dnn+lr的模型也是知道的，但是都没有试验过 深度学习在美团点评推荐平台排序中的运用原创 2017-07-28 潘晖 美团点评技术团队美团点评作为国内最大的生活服务平台，业务种类涉及食、住、行、玩、乐等领域，致... 查看详情
xidianoj1029数一的逆袭
...首先是一个正整数T(T<=100)接下来是T行，每行代表一组数据， 查看详情
数一的逆袭
数一的逆袭题目链接：http://acm.xidian.edu.cn/problem.php?id=1029数学题2^n的末位是一个以4为周期循环的数列，求2^n的首位：设m=2^n，两边取对数得，logm=nlog2，化简得，m=10^(nlog2);设nlog2的整数部分为a，小数部分为b，那么m=10^a*10^b，因为10... 查看详情
tensorflow在美团外卖推荐场景的gpu训练优化实践
总第497篇2022年第014篇美团机器学习平台基于内部深度定制的TensorFlow研发了BoosterGPU训练架构。该架构在整体设计上充分考虑了算法、架构、新硬件的特性，从数据、计算、通信等多个角度进行了深度的优化，最终其性价比达到CPU... 查看详情
芝麻软件早报2017.11.13
...比增长超50%3.蚂蚁金服：双11全天保险出单8.6亿单，投保峰值23万笔/秒4.菜鸟双11成绩：单日订单8.12亿，发货3.66亿5.雷军：小米双11天猫旗舰店销售超24亿，连续五年蝉联天猫双11手机销冠6.苏宁：双11全渠道增长163%，物 查看详情
水滴筹：全年超4亿人在平台献出爱心筹集救助款超130亿
网易科技讯12月31日消息，近日水滴筹公布了年度爱心数据，数据显示，2019年超过4亿人次在平台献出爱心，为困难大病家庭累计筹集救助款超过130亿。 水滴筹年度爱心数据显示，广东、浙江、江苏、山东、四川、河南、福建... 查看详情
机器学习在美团配送系统的实践：用技术还原真实世界-笔记
文章作者：Tyan博客：noahsnail.com | CSDN | 简书本文为美团文章学习的笔记整理。1.美团“超脑”配送系统的由来美团内部把配送的AI系统，简称为“超脑”配送系统。2.即时配送在全球快速发展以外卖为依托，即时... 查看详情
机器学习在美团配送系统的实践：用技术还原真实世界-笔记
文章作者：Tyan博客：noahsnail.com | CSDN | 简书本文为美团文章学习的笔记整理。1.美团“超脑”配送系统的由来美团内部把配送的AI系统，简称为“超脑”配送系统。2.即时配送在全球快速发展以外卖为依托，即时... 查看详情
美团实时数仓架构演进与建设实践
...容是实时数仓平台的研发。今天和大家分享一下实时数据在美团的典型应用场景，实时数仓建设中的挑战和解决方案，包括一些关键的设计细节。主要介绍以下几方面内容：建设背景平台架构设计平台建设实践未来计划01建设背... 查看详情
情感分析技术在美团的探索与应用
2021年5月，美团NLP中心开源了迄今规模最大的基于真实场景的中文属性级情感分析数据集ASAP，该数据集相关论文被自然语言处理顶会NAACL2021录用，同时该数据集加入中文开源数据计划千言，将与其他开源数据集一... 查看详情
汤楚熙：美团实时数仓架构演进与建设实践
...容是实时数仓平台的研发。今天和大家分享一下实时数据在美团的典型应用场景，实时数仓建设中的挑战和解决方案，包括一些关键的设计细节。主要介绍以下几方面内容：建设背景平台架构设计平台建设实践未来计划01建设背... 查看详情
汤楚熙：美团实时数仓架构演进与建设实践
...容是实时数仓平台的研发。今天和大家分享一下实时数据在美团的典型应用场景，实时数仓建设中的挑战和解决方案，包括一些关键的设计细节。主要介绍以下几方面内容：建设背景平台架构设计平台建设实践未来计划01建设背... 查看详情
「天才学霸」藏在美团
撰文|贾紫璇编辑 | 焦丽莎在美团有一群神秘且低调的技术天才，代号“北斗”。他们私下里自嘲是：调参侠。他们的圈子里流行一句话：数据和特征决定了效果的上限，而不同的模型和参数只是去逼近这个... 查看详情
hdu4500小q系列故事——屌丝的逆袭
腾讯的题目，一条简单的搜索题目。适合刚開始学习的人练习代码能力。或者是高手歇息脑子的题。呵呵，不须要动脑了，仅仅动手打代码就过了。只是腾讯这故事有点坏啊。给人透露了两个信息：1腾讯不拘一格降人才2进入腾... 查看详情