欢迎访问:沃派博客 每天不定时发布IT文章相关资讯
当前位置:沃派博客-沃派网 > IT文章 > 正文

技术和商业的碰撞,谈阿里云与天猫双11这十年

11-13 IT文章

原标题:技术和商业的碰撞,谈阿里云与天猫双11这十年

2009年,发生了两件看似不起眼的事。

初春刚过,阿里云在北京一栋没有暖气的写字楼写下了飞天第一行代码。

同年11月11日,淘宝商城启动了一个叫做双11的促销活动。

谁也没想到,多年以后他们会是现在这模样。

前传

2007年淘宝的交易额突破了400亿,技术团队却喜忧参半:现有集中式架构已经捉襟见肘,该如何应对?

随即启动的分布式改造获得巨大成功,淘宝所有的业务都做了模块化。

尽管这次技术升级在现在看来存在诸多局限性:更多的是为了应对不断增多的图片缓存,在CDN端对海量的图片缓存做了一些限流操作。但就是这次改造成就了历史上第一个双11,2009年双11当天的流量达到了一个高峰,在旧的架构体系下,这几乎是一项不可能完成的任务。

一年后,飞天的第一个版本上线,仅有几十台机器的集群开始服务第一个内部客户——阿里金融。

技术和商业的碰撞,谈阿里云与天猫双11这十年

这些探索让所有人看到了一个趋势:用分布式的方法将传统、昂贵的小型机硬件和软件,替换成通用的X86的服务器集群,虚拟化等技术可以让计算能够按量、随时被启动。

流量狂奔:脉冲计算

从计算机诞生到90年代,计算资源都是作为“可计划性”的资源来使用。无论是探索月球,还是研究基因的奥秘,计算资源本身是可规划的。然而,互联网时代的到来,一个爆发性事件,就有可能挑战整个计算资源,不确定性如影随形。

毫无疑问,双11就是这样一个典型场景。

2011双11的流量洪峰给技术团队留下了午夜惊魂般难忘的回忆:系统性技术问题,使大量商家可能出现超卖。

事后,这群国内互联网行业最优秀的技术人开始意识到这已经不仅仅是一场商业促销活动,更是一次技术大考。

次年,天猫与阿里云、万网宣布联合推出聚石塔平台,率先以云计算为“塔基”,为天猫、淘宝平台上的电商及电商服务商提供IT基础设施。

技术和商业的碰撞,谈阿里云与天猫双11这十年

基于阿里云的ECS云服务器、RDS云数据库、SLB负载均衡网络,商家订单源源不断的推送到商家平台上,保障了数据的稳定和延续。这是云计算首次参与双11,并且实现了191亿的交易总额。

飞天的高速成长也给了所有人信心:5年的时间,飞天平台集群规模从1500台到3000台,2013年8月,单集群超越5000台,同时支持多集群跨机房计算……

接下来几年,云计算逐渐成为这场狂欢节中的基石,到2014年,聚石塔上96%的交易使用了阿里云。

2015年开始,双11构建了全球最大的混合云,将公共云和专有云无缝连接。

而这些成果最终成为了全社会的能力:无论是春节在12306抢票,还是在世界杯期间的狂欢,抑或是微博上的明星八卦,脉冲计算的能力在今天已经变成了常态。

数据平台,计算创造价值

2013年前后,“船票论”在互联网圈极为流行。“船票”成为了人们对于一家公司有没有未来的判断依据。至于如何拿到这张船票,彼时都非常模糊。

然而,移动端带来的海量数据却是真实存在的,移动端带来的新需求,也推动了阿里云大数据平台的发展。

鲜为人知的是,2004年,为了从大数据中分析当前状况,并预测未来的趋势,阿里就拥有了第一个大数据仓库,到2008年,淘宝的业务量与数据量已达到2004年的数千倍,为了让数据成为生产资料,从底层重构大数据技术就显得尤为重要。

2010年春,大数据引擎MaxCompute的前身SQL Engine第一版上线,运行在当时30台机器的飞天集群上。

2011年,飞天团队开始探索支撑集团内部数仓业务,在1500台机器上并行运行云梯2的生产作业,并取得了不输于Hadoop的性能和稳定性成绩。

飞天5K项目之后,MaxCompute随之进入5000台机器和跨机房调度时代,并且可以在377秒完成100TB的排序。

通过MaxCompute引擎助力,从2014年双11开始,千人千面成为常态。现在,这一产品已经成为阿里巴巴的主力计算平台:

阿里巴巴集团99%的数据存储以及95%的计算能力使用MaxCompute;

每天有超过500万个作业在平台上运行;

2017年双11,MaxCompute单日数据处理超过320PB。

几年过去,“船票论”烟消云散,然而大数据平台带来的价值已显山露水,通过大数据与人工智能算法的结合,MaxCompute已成为ET大脑最重要的组成部分,ET城市大脑自动指挥城市路口信号灯,并且成功应用于马来西亚的交通治理;ET工业大脑推动工厂取得更好的良品率,致力于帮助制造企业提升1%的良品率。

版权保护: 本文由 沃派博客-沃派网 编辑,转载请保留链接: http://www.bdice.cn/html/2546.html