没有电商巨头有钱,又要挑战双十一流量高峰,一次低成本高质量的大促是如何做到的?

TiDB_PingCAP TiDB_PingCAP     2023-02-02     241

关键词:

今年7月初,易车网数据库负责人田震愈发焦虑。

此时,离易车818汽车狂欢节正式开幕只剩一月有余,但数据库压力测试结果并不理想。

818汽车狂欢节乃易车网首次大促活动,并且采用台网互动的直播形式,涉及数据库的应用场景颇多,如实时数据看板、台网互动直播、摇一摇、直播投票等,不仅要求数据库能够存储海量数据,同时还能支撑起高并发、低延迟场景。然而最初基于MySQL设计的方案着实不给力,在压测过程中,极端情况下主从延迟高、切换时间过长,数据库出现短暂不可用,并且实时任务持续写入大量数据,引起磁盘爆满,在实际使用中可能会对用户体验造成影响。

第一次面对大促场景,易车网DBA团队并无太多经验。时间紧、任务急,团队规模又有限,田震心里越来越没底,能不能扛过818狂欢节的流量高峰成了未知数。

就在此时,一次机缘巧合,让易车网在短短一月时间内顺利完成数据库的立项、选型、方案设计、压测和上线部署,最终完美支撑起易车818狂欢节,取得全平台观看直播人次2.24亿次,线上订单4.39万笔,累计成交额64.2亿元的优异成绩。

无独有偶,易车网、汽车之家、小米有品、京东物流、平安……如今,大促已不再是电商巨头们的独有,正在成为所有行业改变业务模式、贴近消费者的一种新业务场景,越来越多的用户都在面临着大促场景下的数据流量峰值挑战,这也驱动着一个新趋势的诞生:即大促能否实现更低的门槛,让更多不是电商巨头的企业独立、低成本、高质量地应对大促等数据流量高峰场景

大促,带来的是机遇,也是挑战。

聆听更多“大促”背后的数据库故事,参与互动,有机会获得TiDB 定制周边!

每次大促都是一场大考

好的技术,往往让消费者无感,只沉浸在消费过程的喜悦之中。

然而,哪怕是电商巨头们,在几年前大促中也有诸多“不堪”:每逢双十一零点,页面卡顿、App无响应、订单支付一直在转圈圈……

2009年到现在,十余年时间里,阿里、京东这些电商巨头的订单峰值扩大了上千倍之多,订单数量、总交易额更是节节攀升。每一次大促就像是一场对技术的大考,一次次挑战着交易量、实时数据分析、数据一致性的极限。京东云数据库产品经理杨牧就直言,大促场景期间的流量一般是平常的10倍以上,像大促期间的抢购、秒杀会带来极为密集的流量,对数据库等业务压力极大。

如今,大促俨然成为电商巨头们最为核心的的业务场景,不断扩大的数据交易规模也推动着电商巨头们对于技术的持续反思和演进。以京东云为例,支撑着京东商城、京东物流等大量业务,在支撑大促场景时,数据库就经历了从MySQL到TiDB的过程。

和大多数互联网公司一样,京东云在支撑京东物流业务时一开始也是采用的MySQL数据库。但MySQL也有不少弊病,像分控监管架构在提前扩容时,过程繁琐、运维复杂,有节点失败了还需要人工处理,这些在压测时不是大问题,一旦发生在大促真实场景中,对于用户体验可能带来极大影响。

“如今,京东云只需要根据需求,在控制台用鼠标点一点就行,整个扩容过程非常简单。在大促场景中,流量峰值从到来到消失整个过程非常平静。”杨牧如是说,“TiDB本身与也MySQL有强兼容性,迁移成本小、风险低,将MySQL迁移到TiDB之后,整体成本都有显著下降,最高一个业务系统成本下降到之前的三分之一。”

事实上,为准备大促场景,电商巨头们往往会提前小半年投入备战,投入众多人员进行全方位准备,加上在技术上的不断迭代和改进,才逐渐有了如今购物体验良好的各种大促活动。现在,大促有着常态化的趋势,不仅仅是电商们的专有,更让其他行业纷纷跃跃欲试。越来越多企业在惊叹和羡慕阿里的同时,也在积极思考“能否也像阿里一样来做自己的大促活动?”。

没有电商巨头的技术团队和规模也能应对自己的大促场景?答案是YES!

如何像电商巨头一样做大促

理想很丰满,现实却骨感。

放眼天下,几乎没有企业能够拥有互联网巨头的技术体系和团队配置,但现实中又有实打实的大促场景需求,比如汽车之家、易车等汽车互联网平台都在推动818汽车狂欢节;又如小米有品作为粉丝经济的代表,每年通过816感恩季活动来回馈粉丝和扩大影响力;平安人寿在“开门红”的基础上升级出 108 财神节……在强调用户至上的今天,大促一定会逐渐成为各行各业的标配。

与此同时,很多企业面对大促的数据海量场景,又有着不可回避的现实“囧境”。

**最大的挑战之一就是大部分企业没有足够规模的技术团队来支撑起大促场景。**以汽车之家为例,其连续三年与湖南卫视联手打造“818全球汽车夜”,这种直播活动互动多、变数大,一次秒杀引发的数据流量可能是平时的数十倍之多,今年最大数据峰值更是高达40万/秒写入;数据库不仅需要解决海量实时交易的挑战,还需要将实时分析数据反馈给现场主持人,整个过程还需稳定可靠。

整个“818全球汽车夜”对于分布式数据库的水平高扩展性、容灾能力、云端能力要求极高,以汽车之家技术团队的编制,靠自身来进行方案设计、压测、优化和部署上线在短时间内难度极大。事实证明,汽车之家选择 TiDB是明智之选,通过成熟、可靠的分布式数据库解决方案,以及PingCAP技术专家的力量,让汽车之家能够迅速弥补自身技术团队的不足,高效完成对大促场景的支撑。

**另一大不能忽视的因素则是没有大促场景的相关经验。**像易车这样的企业不在少数,第一次面对大促场景,往往心里没底:不可预测性强,不知道流量峰值能到多少,也不知道应该如何设计数据库方案;对于活动期间可能引发的极端情况也不清楚,更不知道如何应对。而经过实际大促场景检验的数据库解决方案无疑会更受他们青睐。

**最后则是大部分企业渴求成本合理的大促技术解决方案。**与电商平台不同,大部分企业都是在数字化转型的过程中逐渐衍生出大促场景的需求,很少有企业具备互联网巨头的财力和人力,它们更加渴望通过一个成本合理的数据库解决方案来满足大促需求。

事实证明,越来越多像汽车之家、易车网、小米、平安这样的企业正在独立完成自己的大促业务,这种大促场景可能没有电商平台规模大,技术团队配置也比较有限,准备周期较短。但无一例外,这些企业都倾向于省心、好用的 TiDB分布式数据库解决方案,拿来即用,无需太多技术迁移和系统维护,在短时间内完成对大促场景的高效支撑。

大促背后的启示

Forrester首席分析师James McQuivey在《颠覆:数字经济的创新思维和商业模式》中直言:在数字化浪潮中,市场竞争者们都在利用新的技术、工具和平台来参与市场竞争、接近用户,甚至是颠覆旧的商业模式。

如今,大促不仅是一个“显性”的商业节日,更像是一个“隐形”的技术战场。它代表着商业的角力,更是数字化能力的比拼。它就像一块试金石,检验着各家企业数字化转型的成败。大促给予企业的不仅仅是营业额的提升、用户粘性的增强,更是对于数字化转型和新技术价值的再思考。

首先,在数字化时代中,场景变化之快绝非虚谈,哪怕是大促,现在的大促跟十年前在形式、方法、规模上都是千差万别,大促场景的创新在未来会只多不少,迅速变化的业务逻辑则会进一步推动企业的数字化转型和技术的选择。

其次,大促等新场景是打破技术偏见、接纳先进技术的绝佳机会,新技术趋势会在场景中得到落地、认可和推广。以如今火热的HTAP为例,不用像MySQL那样分表,实现实时海量规模的OLTP和实时数据分析,还能多云部署和两三中心容灾,这与大促的海量交易、实时数据展现、平稳运行的要求高度契合。人们过去总认为HTAP离实际场景太远,但汽车之家、易车网等用户用事实证明了新技术的价值。

最后,所有企业都在面临一个不确定增加的时代,唯有不断的场景创新能力和数字化能力方能抵御各种不确定性。互联网巨头的业务规模、技术体系固然代表着业界顶尖水平,但是否真正适合自己和为之所用还有待商榷,用户需要不断认识自我,寻找到适合自身发展需求的技术、方案和模式。

面向未来,数据将成为企业最为重要的生产要素,围绕数据存储、管理和应用创新的能力将成为企业的核心竞争力,尤其是随着大促等高峰值场景走向常态化,像TiDB这样低门槛、低成本和高质量的分布式数据库技术和解决方案一定会受到更多行业用户的青睐,以实现数字化核心能力的快速提升,从而在千变万化的市场中做到心中有“数”。

京东深挖物流,引领双十一理性消费

电商圈关于双十一的筹备工作已悉数完成,阿里与京东两大巨头的“猫狗大战”如期上演。近日关于两巨头双十一宣传海报相继问世,不再是来言去语式争风吃醋,而是各自风格迥异,黑白分明。而正是这种全然不同,吸引了笔... 查看详情

关于双十二崩盘的一些思考

双十二的时候我们的一个重要业务崩盘了。原因其实很简单,就一句话,流程太大导致某个中间件接入层的HAproxy满载,中间件不可用,整个业务基本瘫痪。从测试的角度去总结一下,大概以后可以有如下的改进。技术方案评审... 查看详情

干货:通过双十一等项目实战看架构技术

每年“双11”都是一场电商盛会,消费者狂欢日。今年双11的意义尤为重大,它已经发展成为全世界电商和消费者都参与进来的盛宴。而对技术人员来说,双十一无疑已经成为一场大考,考量的角度是整体架构、基础中间件、运... 查看详情

双十一临近,怎样让买家流畅地秒杀?——腾讯wetest独家开放电商产品压测服务

WeTest导读十一月临近,一年一度的电商大戏“双十一”又将隆重出场,目前各大商家已经开始各类优惠券的发放,各类大促的商品表单也已经提前流出,即将流入各个用户的购物车中。作为这些活动的载体,产品宣传、商品购买... 查看详情

央视呼吁电商双十一少一些套路:应该严打网店套路营销

...十一促销节期间,央视说出了许多普通消费者的心声。但电商平台和网店能否下大力气整改,恐怕还需要相关部门的监督和规范。因为双十一、618等电商促销节会影响数量庞大的网购消费者,所以必须出台和完善相关的法律法规... 查看详情

2018双十一阿里云cdn流量包低至72元/年

...能享受最低折扣,本团已经满6人了。注意:别的地方可没有这么高的折扣)2018双十一阿里云CDN流量包低至72 查看详情

java电商秒杀系统深度优化从容应对亿级流量挑战

...课程导学【学前须知】本章对这门课程进行说明,包括:电商秒杀场景的介绍、秒杀系统涉及模块的介绍,秒杀核心的知识点的介绍,课程的学习规划等。第2章秒杀项目框架回顾【秒杀免费课程场景解析,源码走读】本章会介... 查看详情

阿里云自研数据库支撑双11,助力电商客户订单峰值突破每秒20万笔

...11活动,帮助客户从容应对流量高峰。其中,助力电商SaaSERP服务商聚水潭的订单处理峰值突破每秒20万笔。 双11是一次大规模的全社会协作,要想让商品流、支付流、资金流等做到顺畅、及时和精准地在整个双11系统... 查看详情

一年一度的双十一狂欢节又要来临啦!双十一现金红包啦!千万红包,等你来抢!

红包直接抵现金,不领错过一个亿!目前双11预售主会场页面已放出,今年红包奖池是去年的4倍,根据往年的经验,此类红包不会太难抢,今年奖池翻倍,更是雨露均沾。红包可以直接抵现,还能叠加各种活动,抽到就是赚到,... 查看详情

这个一个月没有更新的公众号的作者,他在支撑双十一

上一篇更新的公众号文章是在10月11,距离双十一一个月的时间,各大电商平台的技术人员就都已经开始摩拳擦掌,厉兵秣马,迎接这一年一度的电商盛会,从朋友圈看出,大家都卖的很成功,我们也实... 查看详情

一次低版本kafka的安装使用

注:安装的kafka版本为kafka_2.10-0.8.2.1,zookeeper版本选的是zookeeper-3.4.14一.下载zookeeper官网下载zookeeper-3.4.14.tar.gz,解压到相应目录下:  解压后的目录包含(修改conf目录下的zoo_sample.cfg文件名为zoo.cfg)    启动z... 查看详情

双十一前夜,跨境电商如何解开“真假美猴王”陷阱

双十一前夜,突然想起来了跨境电商和它早前的一个新闻:经国际刑警组织红色通报全球通缉,在境外潜逃1年3个月后,走秀网CEO纪文泓最终在8月16日被押解入境。而他犯罪的原因很“简单”:作为跨境电商的走秀网,走私了。... 查看详情

mic_20181101_双十一电商架构的演进过程_笔记

系统重构,分分合合的操作 所谓架构,当今指的都是分布式架构,就是项目如何搞分布式  查看详情

高峰,来了!

...?目前技术圈拭目以待。很多同学经常拿12306与淘宝双十一做对比,同样是架设在阿里云上的服 查看详情

分布式限流sentinel

参考技术A众所周知,互联网电商的各类活动是越来越多,例如削减男同胞钱包厚度的双十一、618、双十二、各类秒杀活动等,几乎所有的互联网电商企业都会参与其中,冲击GMV,会电商平台带来巨大的流量与可观的利润。作为... 查看详情

双十一,中国向世界输出了什么?

...焦虑地点击和刷新,相信有很多人在这个惊魂的24小时内没有合眼,恍惚中,他们认为自己没有抢到的东西都变成了损失,事实上,在疯狂的折扣面前,我们都变成了不折不扣的穷鬼,但显然,电商平台们还没有办法轻松,他们... 查看详情

扛住阿里双十一高并发流量,sentinel是怎么做到的?(代码片段)

...方式处理服务降级的实现可以基于人工开关降级(秒杀、电商大促等)和自动检测(超时、失败次数、故障),熔断可以理解为一种服务故障降级处理2为什么需要限流降级系统承载的访问量是有限的,如果不做流量控制,会导... 查看详情

科技巨头allinai,这几位中国实业大佬也“坐不住”了

...“无人客服”、苏宁的“苏小语”等智能客服,已然成为电商客服咨询的主力。仅以阿里为例,其机器人客服“阿里小蜜”就承担了95%的客服咨询工作。加上频频在热门综艺上献艺的百度大脑,向人工智能创业公司广泛撒钱的腾... 查看详情