个性化推荐系统---机器学习深度学习召回集扩量

探索互联网 探索互联网     2022-09-26     681

关键词:

个性化推荐系统评价有两个重要指标,一个是召回率一个是准确率。召回率就是:召回率=提取正确信息条数/样本中信息条数。准确率就是:准确率=提取出正确信息条数/提取信息条数。召回率大小直接影响准确率,直接影响机器学习模型、深度学习模型线上效果。

       模型实时计算第一步是模型上线,将spark、TensorFlow训练模型通过实时加载,使用到线上实时CTR点击量预估。是机器学习模型第一步,第二步是不断扩大线上召回集,增加新特征来提升点击量预估准确率。

       今天主要分享下线上实时模型召回素材、特征集扩容,最开始线上召回集数量是100,扩展到200,整个性能下降到70ms,加上线上逻辑性能已不可接受。这时我们想了个方法用多线程进行多核计算提升性能。经过上线测试每个线程计算50个数据,性能优化到计算只消耗3ms,已经线上使用。

        进一步线上召回集扩到1000,采用增加线程每个线程100个特征组,线上能能25ms,这种召回集扩量已在线上使用。

       下一步在扩量,性能瓶颈已经是IO,而不是多线程计算。将计算服务改成jar包此时召回集可以进行扩量到2000。

       在下一步扩召回集,取素材特征与提供接口服务拆分、接口服务通过并发分布式方式进行请求,此时召回集量应为几种方式最大。需要调整接口服务与素材、特征以及计算服务,通过测试得到IO、线程计算结果合并、多核计算的平衡,需排期配合。

       最后一步已基本和开源分布式搜索引擎计算方式类似,后续会持续调研新的优化方式,并引入到线上。总结一下,主要思路是先分开并采用多线程,在合并减少IO,最后通过分布式计算实现召回集扩量。

    微信搜索:debugme123

        微信扫码或长按:

 

结合论文看youtube推荐系统中召回和排序的演进之路(中)篇

上一篇(结合论文看Youtube推荐系统中召回和排序的演进之路(上)篇)主要介绍的是Youtube发表的三篇论文,但主要集中在机器学习方向,接下来会用几篇论文说明一下Youtube在深度学习推荐系统方向做的工... 查看详情

机器学习和推荐系统中的评测指标—准确率(precision)召回率(recall)f值(f-measure)简介

数据挖掘、机器学习和推荐系统中的评测指标—准确率(Precision)、召回率(Recall)、F值(F-Measure)简介。 引言:在机器学习、数据挖掘、推荐系统完成建模之后,需要对模型的效果做评价。业内目前常常采用的评价指标有准确率(P... 查看详情

深度学习核心技术精讲100篇(七十七)-主流推荐引擎技术及优缺点分析

...种类型的推荐系统,具体介绍基于近邻算法的推荐引擎、个性化推荐引擎、基于模型的推荐系统和混合推荐引擎等,并分析介绍每种推荐系统的优缺点。主要介绍的不同类型的推荐系统包括:近邻算法推荐引擎:基于用户的协同... 查看详情

传统机器学习和前沿深度学习推荐模型演化关系介绍

本文来自王喆老师《深度学习推荐系统》一书,如果有一定的推荐系统基础的话,建议读一读,当然如果只是初学者的话还是建议从基础的开始学起,比如《推荐系统开发实战》。传统机器学习推荐模型演化简单... 查看详情

人工智能深度学习机器学习常见面试题281~300

目录281.什么是推荐系统?282.离线推荐283.推荐系统常用特征数据 284.协同过滤算法 查看详情

推荐系统手把手带你学推荐系统4知识补充

...统,在很多领域都有广泛的使用.推荐系统可以为用户提供个性化的产品,挖掘用户的潜在需求.从今天开始,小白我就带大家来学习一下推荐系统方向的知识.推荐系统流程召回:协同过滤召回,内容相似召回,图算法召回,热门召回,新课... 查看详情

机器学习系列(17)_yelper推荐系统

...发了上百个项目,遑论现在市场上各式各样的应用都需要个性化服务。“从互联网中提取信息犹如用消防栓饮水”(Mitchell Kapor)。如今的信息量早已过载,要依据如此嘈杂的信 查看详情

深度学习是啥?求大神科普一下感谢🙏

...,机器翻译,自然语言处理,多媒体学习,语音,推荐和个性化技术,以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动,解决了很多复杂的模式识别难题,使得人工智能相关技术取得了很大进... 查看详情

深度学习——推荐算法基础原理

...发掘用户的行为,将合适的信息推荐给用户,满足用户的个性化需求,帮助用户找到对他胃口但是不易找到的信息或商品。推荐系统在互联网和传统行业中都有着大量的应用。在互联网行业,几乎所有的互联网平台都应用了推荐... 查看详情

王喆-深度学习推荐系统实战基础架构篇-(task1)dl推荐系统架构

学习心得通过task1的学习在脑海里建立DL背景的推荐系统架构:为了解决【在“信息过载”情况下,用户怎么高效获取感兴趣的信息】的问题,并且构建更好的拟合数据和表达能力的模型,深度学习上场了。其中DL... 查看详情

python基于机器学习方法实现的电影推荐系统(代码片段)

...互联网行业的应用非常广泛,今日头条、美团点评等都有个性化推荐,推荐算法抽象来讲,是一种对于内容满意度的拟合函数,涉及到用户特征和内容特征,作为模型训练所需维度的两大来源,而点击率,页面停留时间,评论或... 查看详情

机器学习讲座,如何利用sparkmllib进行个性推荐?

...更多电商网站更加提倡用户参与和用户贡献。而在现今的推荐技术和算法中,最被大家广泛认可和采用的就是基于协同过滤的推荐方法。这种在信息过滤和信息系统中很受欢迎的技术,与传统的基于内容过滤直接分析内容进行推... 查看详情

ng机器学习视频笔记——机器学习系统调试(cv查准率与召回率等)

ng机器学习视频笔记(八)——机器学习系统调试(cv、查准率与召回率等) (转载请附上本文链接——linhxx) 一、样本集使用方案1、测试集        为了验证系统设计的是否准确,通常需要预... 查看详情

大数据推荐系统算法代码全接触(企业内训,现场实录,机器学习算法+spark实现)

...该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户 查看详情

大数据推荐系统算法代码全接触(企业内训,现场实录,机器学习算法+spark实现)

...该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户 查看详情

深度学习入门好文,强烈推荐!!!

初识:深度学习学习目标1.深度学习的概念2.机器学习和深度学习的区别2.1区别1:特征提取2.2区别2:数据量3.深度学习的应用场景4.常见的深度学习框架学习目标知道什么是深度学习知道深度学习和机器学习的区别能... 查看详情

蘑菇街推荐算法架构实战

...习jqbxx.com-专注机器学习,深度学习,自然语言处理,大数据,个性化推荐,搜索算法,知识图谱推荐一直是电商平台的重要流量入口。以往在电商平台上,推荐的场景更多的覆盖在交易的各个环节,比如详情页、购物车、订单及支付等... 查看详情

深度学习图书推荐

...必读图书!特斯拉CEO埃隆·马斯克等国内外众多专家推荐!深度学习是机器学习的一个分支,它能够使计算机通过层次概念来学习经验和理解世界。因为计算机能够从经验中获取知识,所以不需要人类来形式化地定义计算机... 查看详情