机器学习框架:开源的好,还是自研的香?

高校俱乐部 高校俱乐部     2022-12-06     533

关键词:

 如今,机器学习在图像识别、多媒体创作、自然语言处理、搜索广告推荐等领域都有着广泛的应用和不俗的表现。

面对日益繁杂的应用场景,机器学习框架有助于节省编写大量底层代码的精力,也能省去部署和适配环境的烦恼,更聚焦业务场景和模型设计本身,因而被越来越多的行业接受。

全世界最为流行的深度学习框架有Tensorflow、PyTorch、Caffe、Theano、MXNet、Torch、PaddlePaddle等,这些开源框架均表现出色,且各有各的优势和特色。随着深度学习技术的普及,各家框架的成熟化,深度学习技术的门槛会越来越低。

但对于像小红书这样业务发展迅速的产品而言,双列场景和以UGC内容分发为主的特点,对系统的高时效性和稀疏内容表达提出了更高的要求,数据的处理挑战与日俱增。因此,开发符合自身业务需求的机器学习框架往往是更好的选择。

与此同时,在机器学习框架的实际应用中也诞生了许多共性的问题:

✦ 掌握一个深度学习框架,开发者需要做哪些准备?

✦ 深度学习框架能“包治百病”吗?是否适用于所有应用场景需求?

✦ 如何充分利用CPU、GPU的硬件能力提升机器学习效果?

✦ 国内的深度学习框架有哪些不同于欧美国家主流深度学习开发框架的特点和创新?

就在10月19日19:00,小红书技术REDtech邀请到了国内的深度学习框架初创公司One Flow的创始人袁进辉,与小红书智能分发部负责人瑞格带来新一期【REDtech 来了】技术直播。他们将围绕机器学习框架在工业界实际应用的挑战与前景展开精彩分享。

袁进辉

2008年于清华大学计算机系获得工学博士学位(优秀博士学位论文奖),2008~2011年在清华大学计算机系从事计算神经科学方面的博士后研究,原微软亚洲研究院主管研究员。于2017年创立北京一流科技有限公司,致力于打造新一代深度学习框架OneFlow。目前,他还兼任之江实验室天枢开源开放平台架构师,北京智源人工智能研究院大模型技术委员会委员。

 瑞格

小红书智能分发部负责人,在小红书搭建了支持超大规模参数的在线学习训练框架,支持搜广推个性化模型学习,通过前沿算法的不断探索显著提升了分发效果。曾在百度凤巢从事超大规模分布式训练算法研究,实践了如万亿特征LR、GBDT、大规模稀疏离散DNN等模型工业界应用,并在工业界广泛应用。在百度研发了适用于搜索广告相关性问题的半监督学习算法,显著提升了广告相关性。

✦✦ 详细日程 ✦✦

 

✦✦ 直播收看攻略 ✦✦

时间:2022 年 10 月 19 日(周三)19:00-21:00

直播平台:关注【小红书技术 REDtech 】视频号,预约直播,不见不散。(直播也将在抖音与B站同步进行,搜索“小红书技术 REDtech ”)

扫描下方二维码进入直播交流群,将第一时间获取直播链接及开播提醒。

我们将在微信群内发布嘉宾演讲精华和抽奖活动, 参与互动提问还有机会被嘉宾pick解答哦。

小红书技术秋招热烈进行中

还有以下岗位虚位以待

前端开发工程师

iOS开发工程师

机器学习算法工程师

Java开发工程师

测试开发工程师

数据引擎开发工程师

……

点击【小红书招聘】,抓紧投递

REDcity等你加入!

gcastle|华为诺亚方舟实验室自研的因果结构学习工具链(代码片段)

...简介和安装gCastle是华为诺亚方舟实验室自研的因果结构学习工具链,主要的功能和愿景包括:数据生成及处理:包含各种模拟数据生成算子,数据读取算子,数据处理算子(如先验注入 查看详情

谷歌自研芯片tensor重磅来袭:“机器学习的里程碑”

整理|祝涛出品|CSDN(ID:CSDNnews)今日凌晨,谷歌正式推出了全新的GooglePixel6和Pixel6Pro智能手机。谷歌Pixel6系列搭载谷歌自研的Tensor芯片,相比Pixel5性能提升80%,AI性能也大大提高。在10月19日的新品发布会... 查看详情

开源~自研的一套自动化测试平台实现web接口自动化性能测试支持上传jmeter脚本

...测试效率,大家多提宝贵意见~~~有问题随时沟通github开源项目:后端自动化测试平台:http 查看详情

如何选择开源的机器学习框架?

虽然机器学习还处于早期发展阶段,但是其融入相关行业的应用,前景不可估量,其潜在价值也注定机器学习必将成为企业的主要应用技术。本文和大家分享的是针对不同行业,我们应该如何选择合适的开源框架,一起来看看... 查看详情

人工智能领域常用的开源框架和库(含机器学习/深度学习/强化学习/知识图谱/图神经网络)

...hon编程语言的开源框架和库,因此全面性肯定有限!一、机器学习常用的开源框架和库1.Scikit-learn作为专门面向机器学习的Python开源框架,Scikit-learn内部实现了多种机器学习算法,容易安装和使用 查看详情

开源框架mahout配置

开源框架Mahout配置机器学习这两年特别火,ATB使劲开百万到几百万年薪招美国牛校的机器学习方向博士,作为一个技术控,也得折腾下,就这样来初步折腾下Mahout这个机器学习的主流开源框架。一、Mahout简介Mahout的中文意思:驭... 查看详情

一个开源的,跨平台的.net机器学习框架ml.net

...uild2018大会上推出的一款面向.NET开发人员的开源,跨平台机器学习框架ML.NET。ML.NET将允许.NET开发人员开发他们自己的模型,并将自定义ML集成到他们的应用程序中,而无需事先掌握开发或调整机器学习模型的专业知识。在采用通... 查看详情

流量治理选开源还是自研,有点小纠结

...事时,必定会遇到一个比较纠结的问题,就是用开源还是自研呢?今天我们从下面几个方面来分析下,什么时候该自研,什么时候该直接用开源的成果。公司规模规 查看详情

《vega是诺亚方舟实验室自研的automl算法工具链》

Vega简介Vega是诺亚方舟实验室自研的AutoML算法工具链,有主要特点:完备的AutoML能力:涵盖HPO(超参优化,HyperParameterOptimization)、Data-Augmentation、NAS(网络架构搜索,NetworkArchitectureSearch)、ModelCompression、FullyTrain等关键功能,同时这些... 查看详情

自动化工具自研的接口自动化测试平台

原文:https://testerhome.com/topics/12648个人自研的自动化测试平台,借鉴了部分HttpRunner的思想和部分代码,主要实现了项目管理、签名方式管理、接口管理、用例管理和测试计划的制定和运行等主要功能,其它的编辑修改都没做,现... 查看详情

自研的内存分析利器开源了!androidbitmapmonitor助你定位不合理的图片使用(代码片段)

...图片等等。AndroidBitmapMonitor正是为此而生!它是一个开源的Android图片内存分析工具,可以帮助开发者快速发现应用的图片使用是否合理,支持在线下和线上使用。AndroidBitmapMonitor提供了这些功能:获取内存中的Bitma... 查看详情

让前端提效50%!阿里自研开源框架midwayserverless解读

...大量减少研发人员使用基础设施和运维的成本。目前这一框架已经实现前端提效50%,且已在Github开源,开源地址见文末。MidwayServerlessMidway之前是传统的Web栈框架,和业界现有的EggJS,NestJS等解决的是类似的问题,从中后台到移动... 查看详情

深度学习及机器学习框架对比摘要

...析主流深度学习框架对比深度学习框架的评估与比较几种机器学习框架的对比和选择机器学习框架比较DL4J与Torch、Theano、TensorFlow、Caffe、Paddle、MxNet、Keras和CNTK的比较主流深度学习框架对比: 查看详情

火山引擎项亮揭秘字节跳动基于hpc的大规模机器学习技术|直播分享报名

机器学习是当前领先的AI范式,到目前为止取得了非常可观的成就,当前机器学习也是一个非常时髦的话题。2021年12月火山引擎云产品发布会上正式发布了 AI全系产品,其中的AI开发平台就是全流程、高效率、高性能... 查看详情

美团图灵机器学习平台性能起飞的秘密(代码片段)

美团图灵机器学习平台在长期的优化实践中,积累了一系列独特的优化方法。本文主要介绍了图灵机器学习平台在内存优化方面沉淀的优化技术,我们深入到源码层面,介绍了Spark算子的原理并提供了最佳实践。希望... 查看详情

滴滴开源drouter:一款高效的android路由框架

导读DRouter是滴滴乘客端自研的一套Android路由框架,基于平台化解耦的思想,为组件间通信服务。该项目以功能全面、易用为原则,支持各种路由场景,在页面路由、服务获取和过滤、跨进程及跨应用、VirtualApk插... 查看详情

什么是学习机器学习的好的第一个实现? [关闭]

】什么是学习机器学习的好的第一个实现?[关闭]【英文标题】:Whatisagoodfirst-implementationforlearningmachinelearning?[closed]【发布时间】:2011-03-1118:09:00【问题描述】:我发现学习新主题最好通过简单的代码实现来获得想法。这就是我... 查看详情

开源机器学习软件对ai的发展意味着什么?

...axLangenkampOneFlow编译翻译|徐佳渝、杨婷为什么要关注机器学习开源软件(MLOSS)?在我们看来,MLOSS对AI发展来说举足轻重,但未获重视。机器学习开源软件是开源许可下发布的专为机器学习而设计的计算... 查看详情