实时机器学习是什么,面临哪些挑战?

space007 space007     2023-01-19     239

关键词:

    最近能够随数据获取实时调整模型的实时机器学习,正在成为媒体技术领域的新网红。曾经连续两年,都被FTI评为传媒业的重要技术趋势之一,与自然语言理解NLU、机器阅读理解MRC、音视频算法等共享金字塔顶端的荣光。

       那实时机器学习到底是什么呢?

  在开启扒皮模式之前,我们先来了解一下,实时机器学习究竟在哪些地方比传统的机器学习更强?

  传统的机器学习(ML)正在媒体领域得到越来越多的应用,利用算法实现内容的个性化推荐,已经成为主流媒体的标配。

  但过去的算法,主要侧重于使用静态模型和历史数据进行训练并提供预测。比如用户在浏览网站时,可以根据用户历史行为数据来推送新闻。

  而一些新的涉及动态实施决策的业务,比如具备时效性的热点新闻,或是用户想要看点新东西,这就需要用一种新的算法来实现,即实时机器学习Real-Time Machine Learning

技术分享图片

  以头条的核心技术个性化推荐算法为例,其核心原理就是根据用户对文章的历史行为数据反馈,进行统计挖掘和判断。

  比如具有相同偏好的三个用户,分别选择了自己喜欢的文章,得到最高票数的文章就会被推荐给被系统打上同一属性标签的第四个人……以此类推。

  不难发现,传统机器学习算法的成功,依赖于对用户的知根知底,需要用户不断开放自己的私人领地。

  而实时机器学习,更擅长对用户的当下需求体察入微,让用户在保持隐私安全感的同时,获得如沐春风的浏览体验。

显然,实时机器学习算法将主导一个令人期待的新世界,也有越来越多的媒体在为此做着准备。

技术分享图片

    实时机器学习技术的深入应用,将解锁很多超乎想象的媒体功能和应用场景。但是,尽管学界已经在算法上提出了几种理想的架构,但产业端却未迎来蓬勃的质变。这究竟是为什么?实时机器学习落地到底面临哪些挑战呢?

  1. 高吞吐量与低延迟的平衡。

  媒体平台的海量用户需求,决定了实时机器学习要在每秒处理数百万任务量级。以这样的速度进行大规模的信息分发,需要细致到毫秒级的任务执行能力。

  2. 动态异构任务模块的高效唤醒。

  对于Facebook这样体量庞大的平台来说,其服务是由成千上万个不同模块构建而成的,流量调节、图像转码、存储编码等等。在实时任务中,会伴随生成很多不同资源支持的新任务,增加系统的响应和处理难度。

  如何对这些重要且不一样的特性进行预测,十分具有挑战性。

技术分享图片

  3. 实时算法与业务场景的融合。

  实时响应和预测,意味着留给系统的容错空间更小。要保障这一技术在实际应用场景中的稳定性,就要在完成高吞吐量任务的同时,能够快速模拟真实世界的交互,然后精准地判断出,哪些是结果的决定性因素,从而做出正确的响应。

  举个例子,如果想给用户推荐哪些朋友赞过此贴,实时算法会快速判断出最近一次查看这一数据集对完成该任务毫无意义,然后快速修改关联并重新学习。这种自适应调整,可以有效防止用户收到的结果中出现明显的错误点。

    

作者:脑极体

原文链接:https://www.kg.com/article/512402530874036224

初学者学习python编程面临哪些挑战?

...始选择转行到IT行业,如果你是一名初学者,想要学习一门编程语言,那么Python编程无疑是最佳选择。因为Python编程相比较其他编程语言来说,算是比较简单易学的。那么,初学者学习Python编程面临哪些挑战呢... 查看详情

什么是自动机器学习?它有哪些用处?

...念开始流行起来,那么谈到深度学习就不得不提自动机器学习。可能还有许多人会问:什么是自动机器学习?它有哪些用处?下面就我们一起了解自动机器学习吧!一、认识自动机器学习1、自动机器学习的概... 查看详情

什么是自动机器学习?它有哪些用处?

...念开始流行起来,那么谈到深度学习就不得不提自动机器学习。可能还有许多人会问:什么是自动机器学习?它有哪些用处?下面就我们一起了解自动机器学习吧!一、认识自动机器学习1、自动机器学习的概... 查看详情

什么是自动机器学习?它有哪些用处?

...念开始流行起来,那么谈到深度学习就不得不提自动机器学习。可能还有许多人会问:什么是自动机器学习?它有哪些用处?下面就我们一起了解自动机器学习吧!一、认识自动机器学习1、自动机器学习的概... 查看详情

机器学习的挑战:黑盒模型正面临这3个问题

导读:本文将讲述可解释机器学习的研究背景,介绍黑盒模型存在的问题和风险,通过一些小故事让读者了解问题的严重性。作者:索信达控股邵平杨健颖苏思达何悦苏钰来源:大数据DT(ID:hzdashuju&#x... 查看详情

machinelearning:什么是机器学习

简介  在介绍机器学习之前,我想先列几个关于机器学习的例子:垃圾邮件检测:根据邮箱中的邮件,识别哪些是垃圾邮件,哪些不是。这样的模型,可以程序帮助归类垃圾邮件和非垃圾邮件。这个例子,我们应该都不陌生。... 查看详情

机器学习面试总结————

目录1、使用机器学习模型时,一般怎么处理数据集2、什么是训练误差和测试误差3、什么是过拟合与欠拟合?怎么解决4、机器学习当中的回归模型有哪些5、机器学习当中的分类模型有哪些6、回归和分类模型的评价指标都有哪... 查看详情

云计算核心技术有哪些?云计算零基础学习

由于云计算特性和已有的IT模式有很大差异,自从云计算诞生之后,在安全方面受到极大非议,安全问题是企业内部引入云计算的最大顾虑。不可否认在安全方面,云计算确实面临许多挑战,但是云计算的一些优秀的特性将不仅... 查看详情

1机器学习

...知识和复杂算法知识,使用计算机作为工具并致力于真实实时的模拟人类学习方式,并将现有内容进行知识结构划分来有效提高学习效率.机器学习有下面几种定义:(1)机器学习是一门人工智能的科学,该领域的主要研究对象是人... 查看详情

实景三维建设背景下,三维gis面临哪些挑战?(代码片段)

2021年8月26日,自然资源部印发《实景三维中国建设技术大纲(2021版)》,明确指出“实景三维中国建设是落实数字中国、平安中国、数字经济战略的重要举措,是落实国家新型基础设施建设的具体部署,... 查看详情

人工智能面临的考验是什么

...算机并不被告知怎么做,而是采用一定的激励制度来训练机器人培养出正确的分类。无监督学习方式是机器人工智能发展的关键技能之一。人工智能面临的第二个考验就是知识表达存在问题。这是因为许多输入的数据其实都经过... 查看详情

机器学习挑战:用 java/groovy 诊断程序(数据挖掘、机器学习)

】机器学习挑战:用java/groovy诊断程序(数据挖掘、机器学习)【英文标题】:Machinelearningchallenge:diagnosingprograminjava/groovy(datamining,machinelearning)【发布时间】:2010-12-2215:39:18【问题描述】:我正计划用Java开发程序来提供诊断。数... 查看详情

什么是自动机器学习?它有哪些用处?

...念开始流行起来,那么谈到深度学习就不得不提自动机器学习。可能还有许多人会问:什么是自动机器学习?它有哪些用处?下面就我们一起了解自动机器学习吧!一、认识自动机器学习1、自动机器学习的概... 查看详情

java学习教程!java视频马士兵百度云

Linux专题微服务专题微服务架构有哪些优势?微服务有哪些特点?设计微服务的最佳实践是什么?微服务架构如何运作?微服务架构的优缺点是什么?单片,SOA和微服务架构有什么区别?在使用微服务... 查看详情

chatgpt大解密:带您探讨机器学习背后的秘密利用与发展

一、什么是机器学习?二、ChatGPT的运作原理三、ChatGPT生活利用1、自然语言处理2、翻译3、自动回复四、ChatGPTvs其他相关技术五、ChatGPT的未来1、未来发展2、职业取代3、客服人员4、翻译人员5、语言学家6、机遇与挑战六、结... 查看详情

机器阅读理解是什么?有哪些应用?终于有人讲明白了

作者:朱晨光1.机器阅读理解是什么机器阅读理解(MachineReadingComprehension,MRC)是一种利用算法使计算机理解文章语义并回答相关问题的技术。由于文章和问题均采用人类语言的形式,因此机器阅读理解属于自然语言处理(NLP)... 查看详情

使用微服务架构面临哪些挑战?

开发一些较小的微服务听起来很容易,但开发它们时经常遇到的挑战如下。自动化组件:难以自动化,因为有许多较小的组件。因此,对于每个组件,我们必须遵循Build,Deploy和Monitor的各个阶段。易感性&#x... 查看详情

记微软openhack机器学习挑战赛(代码片段)

  有幸参加了微软OpenHack挑战赛,虽然题目难度不大,但是很有意思,学到了很多东西,还有幸认识了微软梁健老师,谢谢您的帮助!同时还认识同行的很多朋友,非常高兴,把这段难忘的比赛记录一下~~也分享一下代码,给... 查看详情