传统机器学习和前沿深度学习推荐模型演化关系介绍

关键词：

本文来自王喆老师《深度学习推荐系统》一书，如果有一定的推荐系统基础的话，建议读一读，当然如果只是初学者的话还是建议从基础的开始学起，比如《推荐系统开发实战》。

传统机器学习推荐模型演化

简单讲，传统推荐模型的发展主要由以下几部分组成

协同过滤算法族

即上图中蓝色部分，协同过滤是推荐系统的首选模型，从物品相似度和用户相似角度出发，衍生出了ItemCF和UserCF两种算法。为了使协同过滤衍生出矩阵分解模型（Matrix Factorization，MF），并发展出矩阵分解的各分支模型。

逻辑回归模型族

协同过滤仅利用用户和物品之间显式或者隐式反馈信息，逻辑回归能够利用和融合更多用户、物品和上下文特征。从LR模型衍生出的各种模型同样“枝繁叶茂”，包括增强了非线性能力的大规模分片线性模型（Large Scale Piece-wise Linear Model，LS-PLM），由逻辑回归发展出来的FM模型，以及与多种不同模型配合使用后的组合模型等。

LS-PLM模型是阿里巴巴曾经使用的主流推荐模型，本质上，LS-PLM可以看作是对逻辑回归的自然推广，他在逻辑回归的基础上采用了分而治之的思路，先对样本进行分片，而在样本分片中应用逻辑回归进行CTR预估。

比如在电商领域要预估女性受众点击女装广告的CTR，那么显然我们不希望把男性用户点击数码类的样本数据也考虑进来，因为这些样本不仅与我们要训练的模型目标无关，甚至会在模型训练过程中扰乱相关特征的权重，为了让CTR模型对不同用户群体、不同使用场景更加具有针对性，其采用的方法是先对全量样本进行聚类，再对每个分类实施逻辑回归进行CTR预估。LS-PLM的思路就来自于此。

LS-PLM的数学形式为：
$$f(x)=\sum _{i=1}^m{\pi }_i(x).{\eta }_i(x)=\sum _{i=1}^m\frac{e^{{\mu }_i.x}}{{\sum }_{j=1}^m{e}^{{\mu }_j.x}}.\frac{1}{1+e^{-w_i.x}}$$

首先用聚类函数$\pi$对样本进行分类（这里的$\pi$采用了softmax函数对样本进行多分类），再用LR模型计算样本在分片中具体的CTR，然后将二者相乘后求和。

其中超参数 “分片数” $m$ 可以较好的平衡模型的拟合和推广能力。$m=1$时，LS-PLM退化为LR，$m$越大，模型的拟合能力越强。阿里给出的$m$的经验值为12。

因子分解机模型族

因子分解机模型在传统的逻辑回归的基础上，加入了二阶部分，使模型具备了进行特征组合的能力，更进一步，在因子分解机基础上发展出来的域感知因子分解机（Field-aware Factorization Machine，FFM）则通过加入特征域的概念，进一步加强了因子分解机特征交叉的能力。

组合模型

为了融合多个模型的优点，将不同模型组合使用时构建推荐模型常用的方法，Fackbook提出的GBDT+LR组合模型是业界影响力较大的组合方式，此外，组合模型体现出的特征工程模型化的思路，也成为了深度学习推荐模型的引子和核心思想之一。

前沿深度学习推荐模型演化

改变神经网络的复杂程度

从最简单的单层神经网络模型（AutoRec），到经典的深度神经网络结构（Deep Crossing），其主要的进化方式在于—增加了深度神经网络的层数和结构复杂度。

改变特征交叉方式

这类模型的主要改变在于丰富了深度学习网络中的特征交叉的方式。例如，改变了用户向量和物品向量互操作方式的NCF（Neural Collaborative Filtering，神经网络协同过滤）,定义了多种特征向量交叉操作的PNN（Product-based Neural Network，基于积操作的神经网络）模型。

组合模型

这类模型主要是指Wide&Deep模型及其后续变种等，其思路是通过组合两种不同特点、优势互补的深度学习网络，提升模型的综合能力。

FM模型的深度学习演化版本

传统推荐模型FM在深度学习时代有了诸多后续版本，其中包括NFM（Neural Factorization Machine，神经网络因子分解机），FNN（Factorization-machine supported network，基于因子分解机支持的神经网络），AFM（Attention neural Factorization Machine，注意力因子分解机）等，他们对FM的改进方向各不相同。例如NFM模型主要使用神经网络提升FM二阶部分的特征交叉能力，AFM是引入了注意力机制的FM模型，FNN利用FM的结果进行网络初始化。

注意力机制与推荐模型的结合

这类模型主要是将注意力机制应用于深度学习推荐模型中，主要包括了FM与注意力机制的AFM和引入了注意力机制的CTR预估模型DIN(Deep Interest Network，深度兴趣网络)

序列模型与推荐模型的结合

这类模型的特点是使用序列模型模拟用户行为和用户兴趣的演化趋势，代表模型是DIEN(Deep Interest Evolution Network，深度兴趣进化网络)

强化学习与推荐模型的结合

这类模型将强化学习应用与推荐领域，签到模型的在线学习和实时更新，其代表模型是DRN（Deep Reinforcement Laearning Network，深度强化学习网络）。

---

【技术服务】详情点击查看： https://mp.weixin.qq.com/s/PtX9ukKRBmazAWARprGIAg

---

扫一扫关注「搜索与推荐Wiki」！号主「专注于搜索和推荐系统，以系列分享为主，持续打造精品内容！」

人工智能前沿知识

...识：还需要再了解一番：文章目录1、人工智能、机器学习、深度学习三者关系？2、介绍一下人工智能？3、介绍一下什么是机器学习？4、介绍一下什么是深度学习？5、介绍一下什么是神经网络？6、常... 查看详情

《搜索和推荐中的深度匹配》——经典匹配模型2.1匹配学习

2.经典匹配模型已经提出了使用传统的机器学习技术进行搜索中的查询文档匹配和推荐中的用户项目匹配的方法。这些方法可以在一个更通用的框架内形式化，我们称之为“学习匹配”。除了搜索和推荐外，它还适用于其... 查看详情

机器学习和深度学习的关系啦！(?´?`?)

...实现技术的分类如下图所示：      传统的机器学习算法在指纹识别、人脸检测、物体检测等领域的应用基本达到了商业化的要求或者特定场景的商业化水平。但是出现了数据表达和特征提取的问题（常常需... 查看详情

09-机器学习.人工智能和深度学习的关系

1.深度学习是机器学习的子类;深度学习是基于传统的神经网络算法发展到多隐层的一种算法体现2.机器学习是人工智能的一个子类  查看详情

推荐系统推荐系统数据流的经典技术架构+微软阿里微软等10大深度学习ctr模型最全演化图谱

...部分2.2模型部分2.3推荐系统数据流的技术架构图三、深度学习推荐模型的演化趋势3.1前深度学习时代CTR预估模型的演化之路3.2谷歌、阿里、微软等10大深度学习CTR模型最全演化图谱【推荐、广告、搜索领域】3.3CTR基本模型结构3.4D... 查看详情

深度学习人工智能，机器学习和深度学习之间的关系。

文章目录​​人工智能​​​​什么是机器学习：​​​​一般模型：​​​​什么是深度学习​​​​三者关系​​人工智能人工智能是一门综合性的科学。结构模拟：机器人学功能模拟：以任务为核心模式识别：机器学习，... 查看详情

中公的深度学习培训怎么样？有人了解吗？

深度学习作为实现机器学习的技术，拓展了人工智能领域范畴，主要应用于图像识别、语音识别、自然语言处理。推动市场从无人驾驶和机器人技术行业扩展到金融、医疗保健、零售和农业等非技术行业，因此掌握深度学习的AI... 查看详情

《nlp的相关资料推荐》

...众号＂CS的陋室＂的相关内容。一 作者的NLP学习之路1机器学习：《统计学习方法》，雷明的《机器学习与应用》，塞巴斯蒂安的《Python机器学习》，sklearn的API文档深度学习：黄文坚《tensorflow实战》，tensorflow技术解析与实战... 查看详情

深度学习核心技术精讲100篇（七十七）-主流推荐引擎技术及优缺点分析

...荐引擎和情境感知推荐引擎；基于模型的推荐引擎：基于机器学习的推荐引擎、分类模型-SVM/KNN、矩阵分解、奇异值分解、交 查看详情

[推荐系统]1.深度学习与推荐系统

...推荐系统的逻辑架构1.2.2推荐系统的技术架构2前置知识2.1传统推荐模型的演化2.2协同过滤2.2.1概述2.2.2用户相似度计算2.2.3最终结果排序2.2.4ItemCF2.2.5UserCF和ItemCF的应用场景2.2.6协同过滤的下一步发展2.3矩阵分解算法2.3.1矩阵分解算... 查看详情

[推荐系统]1.深度学习与推荐系统

...推荐系统的逻辑架构1.2.2推荐系统的技术架构2前置知识2.1传统推荐模型的演化2.2协同过滤2.2.1概述2.2.2用户相似度计算2.2.3最终结果排序2.2.4ItemCF2.2.5UserCF和ItemCF的应用场景2.2.6协同过滤的下一步发展2.3矩阵分解算法2.3.1矩阵分解算... 查看详情

9篇分布式机器学习系统经典论文；深度学习硬件的黄金十年｜ai系统前沿动态...

 这是OneFlow社区发布的第48期AI系统前沿动态，今天开始正式在OneFlow公众号更新。《AI系统前沿动态》主要推荐AI系统、编译器、大模型、硬件、最新活动等相关内容，每周一期。如果你想了解往期内容，请查看知乎链... 查看详情

9篇分布式机器学习系统经典论文；深度学习硬件的黄金十年｜ai系统前沿动态...

 这是OneFlow社区发布的第48期AI系统前沿动态，今天开始正式在OneFlow公众号更新。《AI系统前沿动态》主要推荐AI系统、编译器、大模型、硬件、最新活动等相关内容，每周一期。如果你想了解往期内容，请查看知乎链... 查看详情

学习参考《深度实践spark机器学习》pdf+吴茂贵

...热点。近年来国内外开始关注在Spark平台上如何实现各种机器学习和数据挖掘并行化算法设计。Spark提供了大量的库，包括SQL、DataFrames、MLlib、GraphX、SparkStreaming。开发者可以在同一个应用程序中无缝组合使用这些库。《深度实践... 查看详情

ai人工智能机器学习深度学习学习路径及推荐书籍

...微积分的，因此需要具备线性代数和微积分的基础知识。机器学习基础知识：了解机器学习的基本概念和算法，如线性回归、逻辑回归、支持向量机、决策树等。深度学习基础知识：了解深度学习的基本概念和算法，如前馈神经... 查看详情

喜马拉雅基于hybridbackend的深度学习模型训练优化实践

...下，国内外的各大厂商也在积极转向使用高性能GPU来替代传统的CPU训练集群，以提升训练的效率。喜马拉雅AI云借助阿里云机器学习平台PAI的开源框架HybridBackend，实现了其推荐模型在GPU上的高效训练。在加速训练的同时，HybridBac... 查看详情

个性化推荐系统---机器学习深度学习召回集扩量

.../提取信息条数。召回率大小直接影响准确率，直接影响机器学习模型、深度学习模型线上效果。    模型实时计算第一步是模型上线，将spark、TensorFlow训练模型通过实时加载，使用到线上实时CTR点击量预 查看详情

什么是深度学习，促进深度学习的策略

...。按我们的学习经验，从一个数据源开始——即使是用最传统、已经应用多年的机器学习算法，先完整地走完机器学习的整个工作流程，不断尝试各种算法深挖这些数据的价值，在运用过程中把数据、特征和算法搞透，真正积累... 查看详情