感悟:微博深度学习平台架构和实践

xiaohaigege666 xiaohaigege666     2023-03-09     111

关键词:

TensorFlow、Caffe和MXNet是三大主流的深度学习开源框架:TensorFlow的优势是社区最活跃,开源算法和模型最丰富;Caffe则是经典的图形领域框架,使用简单,在科研领域占有重要地位;MXNet在分布式性能上表现优异。PaddlePaddle、鲲鹏、Angel则是百度、阿里、腾讯分别推出的分布式计算框架。

 

腾讯深度学习平台DI-X

 

腾讯深度学习平台DI-X于2017年3月发布。DI-X基于腾讯云的大数据存储与处理能力来提供一站式的机器学习和深度学习服务。DI-X支持TensorFlow、Caffe以及Torch等三大深度学习框架,主要基于腾讯云的GPU计算平台。DI-X的设计理念是打造一个一站式的机器学习平台,集开发、调试、训练、预测、部署于一体, 让算法科学家和数据科学家,无须关注机器学习(尤其是深度学习)的底层工程繁琐的细节和资源,专注于模型和算法调优。

 

DI-X在腾讯内部使用了一年,其主要用于游戏流失率预测、用户标签传播以及广告点击行为预测等。

 

阿里机器学习平台PAI

 

阿里机器学习平台PAI1.0于2015年发布,包括数据处理以及基础的回归、分类、聚类算法。阿里机器学习平台PAI2.0于2017年3月发布,配备了更丰富的算法库、更大规模的数据训练和全面兼容开源的平台化产品。深度学习是阿里机器学习平台PAI2.0的重要功能,支持TensorFlow、Caffe、MXNet框架,这些框架与开源接口兼容。在数据源方面,PAI2.0支持非结构化、结构化等各种数据源;在计算资源方面,支持CPU、GPU、FPGA等异构计算资源;在工作流方面,支持模型训练和预测一体化。 

 

PAI已经在阿里巴巴内部使用了2年。基于该平台,在淘宝搜索中,搜索结果会基于商品和用户的特征进行排序。

 

百度深度学习平台

 

百度深度学习平台是一个面向海量数据的深度学习平台,基于PaddlePaddle和TensorFlow开源计算框架,支持GPU运算,为深度学习技术的研发和应用提供可靠性高、扩展灵活的云端托管服务。通过百度深度学习平台,不仅可以轻松训练神经网络,实现情感分析、机器翻译、图像识别,也可以利用百度云的存储和虚拟化产品直接将模型部署至应用环境。

微博深度学习平台是微博机器学习平台的重要组成部分,除继承微博机器学习平台的特性和功能以外,支持TensorFlow、Caffe等多种主流深度学习框架,支持GPU等高性能计算集群。微博深度学习平台架构如图1所示。(引用)

技术图片

 

深度学习系列1深度学习在腾讯的平台化和应用实践(转载)

转载:原文链接【深度学习系列1】深度学习在腾讯的平台化和应用实践引言:深度学习是近年机器学习领域的重大突破,有着广泛的应用前景。随着Google公开GoogleBrain计划,业界对深度学习的热情高涨。腾讯在深度学习领域持续... 查看详情

微博广告hubble系统:秒级大规模分布式智能监控平台架构实践

微博广告Hubble系统:秒级大规模分布式智能监控平台架构实践关键词:微博广告Hubble监控平台D+大数据机器学习LSTMTensorflow业务背景Hubble(哈勃,其含义是数据如浩瀚宇宙之大,Hubble如太空望远镜,能窥见璀璨的星辰,发现数据... 查看详情

微服务架构的设计和实践-培训感悟

   这两天(4月8号,9号)我有幸参加了极客邦的培训课程-微服务架构的设计和实践,能够面对面倾听58架构师-孙玄的亲身授课,个人也是感到非常的荣幸。两天的时间,来回于广州和深圳,虽然不能说自己的技术有... 查看详情

微博付费打赏架构:一个社交场景下准金融项目开发和实践

微博付费打赏架构:一个社交场景下准金融项目开发和实践导读:内容变现平台是当今互联网的一个风口,其背后都需要互联网金融的支持,上个月微博商业产品部联合小米支付、天弘基金等金融技术团队策划了首届互联网金融... 查看详情

#201892082018-2019-2《移动平台开发实践》第12周学习总结

...错题1及原因,理解情况错题2及原因,理解情况...其他(感悟、思考等,可选)xxxxxx学习进度条|?????? 查看详情

基于zstack构建深度学习云平台

前言  深度学习是机器学习和人工智能研究的热门分支,也是当今最流行的科学研究趋势之一。深度学习方法为计算机视觉、机器学习带来了革命性的进步,而新的深度学习技术也正在不断诞生。由于深度学习正快速发展... 查看详情

云知声atlas超算平台:基于fluid+alluxio的计算加速实践(上)

...规模分布式机器学习平台架构设计与功能研发,负责深度学习算法应用的优化与AI模型加速。研究领域包括高性能计算、分布式文件存储、分布式缓存等。有多年的云原生开源社区经验。刘青松云知声算法研究员,负责机... 查看详情

深度学习算法实践10---卷积神经网络(cnn)原理

其实从本篇博文开始,我们才算真正进入深度学习领域。在深度学习领域,已经经过验证的成熟算法,目前主要有深度卷积网络(DNN)和递归网络(RNN),在图像识别、视频识别、语音识别领域取得了巨大的成功,正是由于这些... 查看详情

架构学习

...程也远不是现在动辄几百w行代码量的工程可比的,些许感悟特此记录。只是感悟....非干货.... 模块化  相信做过软件设计的学生都听过这个名词,要将具有不同功能,不同特性的组件设计成不同的模 查看详情

外卖广告大规模深度学习模型工程实践

在外卖广告CTR场景下,深度学习模型正在从简单DNN小模型过渡到千亿参数复杂模型。基于该背景,本文将重点针对大规模深度模型在全链路带来的挑战,从在线时延、离线效率两个方面展开,阐述外卖广告在大规... 查看详情

学习参考《深度实践spark机器学习》pdf+吴茂贵

...开发者可以在同一个应用程序中无缝组合使用这些库。《深度实践Spark机器学习》系统讲解了Spark机器学习的技术、原理、组件、算法,以及构建Spark机器学习系统的方法、流程、标准和规范。此外,还介绍了Spark的深度学习框架T... 查看详情

从优化性能到应对峰值流量:微博缓存服务化的设计与实践

从优化性能到应对峰值流量:微博缓存服务化的设计与实践导读:高可用架构8月20日在深圳举办了『互联网架构:从1到100』为主题的闭门私董会研讨及技术沙龙,本文是陈波分享的微博缓存服务的演进历程。陈波,08年加入新浪... 查看详情

深度学习实践1--软件anaconda的下载与安装(代码片段)

...台,在进行Python开发上方便简洁,有利于初步学习和实践深度学习。2、Anaconda软件的下载: Anaconda在官网即可免费下载,网址:https://www.anaconda.com/download/ 。官网上可以选择多种安装包,推荐选择最新基于Python3.6版 查看详情

当spark遇上tensorflow分布式深度学习框架原理和实践

近年来,机器学习和深度学习不断被炒热,tensorflow作为谷歌发布的数值计算和神经网络的新框架也获得了诸多关注,spark和tensorflow深度学习框架的结合,使得tensorflow在现有的spark集群上就可以进行深度学习,而不需要为深度学... 查看详情

apisix在君润人力云原生平台的架构实践(代码片段)

...站式人力资源服务。自研数十家人力资源服务平台,深度链接B端企业和C端用户&# 查看详情

百度黄埔学院学员开题|‘首席ai架构师’实战之旅开启!

3月9日,首期黄埔学院第二次课程正式开课,将深度学习人才培养推进到理论与实战全方位结合的新层次。百度深度学习技术平台部总监马艳军等一众AI技术大牛对【人工智能技术及目前最新研究成果】进行了体系化的讲解。同... 查看详情

百度黄埔学院学员开题|‘首席ai架构师’实战之旅开启!

3月9日,首期黄埔学院第二次课程正式开课,将深度学习人才培养推进到理论与实战全方位结合的新层次。百度深度学习技术平台部总监马艳军等一众AI技术大牛对【人工智能技术及目前最新研究成果】进行了体系化的讲解。同... 查看详情

实践:《21个项目玩转深度学习基于tensorflow的实践详解》pdf+源代码

学习《21个项目玩转深度学习》可以在自己动手实践的过程中找到学习的乐趣,了解算法和编程框架的细节,让学习深度学习算法和TensorFlow的过程变得轻松和高效。不是给想学深度学习的初学者看的,没有详细的讲解,只有项目... 查看详情