关键词:
推荐算法
- 推荐模型构建流程
- 推荐算法概述
- 基于协同过滤的推荐算法
- 协同过滤实现
1. 推荐模型构建流程
Data(数据)->Features(特征)->ML Algorithm(机器学习算法)->Prediction Output(预测输出)
- 数据清洗/数据处理
- 数据来源
- 显性数据
- Rating 打分
- Comments 评论/评价
- 隐形数据
- Order history 历史订单
- Cart events 加购物车
- Page views 页面浏览
- Click-thru 点击
- Search log 搜索记录
- 显性数据
- 数据量/数据能否满足要求
- 特征工程
- 从数据中筛选特征
- 一个给定的商品,可能被拥有类似品味或需求的用户购买
- 使用用户行为数据描述商品
-
用数据表示特征
- 将所有用户行为合并在一起 ,形成一个user-item 矩阵
- 选择合适的算法
- 产生推荐结果
2. 最经典的推荐算法:协同过滤推荐算法(Collaborative Filtering)
算法思想:物以类聚,人以群分
基本的协同过滤推荐算法基于以下假设:
- “跟你喜好相似的人喜欢的东西你也很有可能喜欢” :基于用户的协同过滤推荐(User-based CF)
- “跟你喜欢的东西相似的东西你也很有可能喜欢 ”:基于物品的协同过滤推荐(Item-based CF)
实现协同过滤推荐有以下几个步骤:
-
找出最相似的人或物品:TOP-N相似的人或物品
通过计算两两的相似度来进行排序,即可找出TOP-N相似的人或物品
-
根据相似的人或物品产生推荐结果
利用TOP-N结果生成初始推荐结果,然后过滤掉用户已经有过记录的物品或明确表示不感兴趣的物品
以下是一个简单的示例,数据集相当于一个用户对物品的购买记录表:打勾表示用户对物品的有购买记录
-
关于相似度计算这里先用一个简单的思想:如有两个同学X和Y,X同学爱好[足球、篮球、乒乓球],Y同学爱好[网球、足球、篮球、羽毛球],可见他们的共同爱好有2个,那么他们的相似度可以用:2/3 * 2/4 = 1/3 ≈ 0.33 来表示。
User-Based CF
Item-Based CF
通过前面两个demo,相信大家应该已经对协同过滤推荐算法的设计与实现有了比较清晰的认识。
3. 相似度计算(Similarity Calculation)
-
相似度的计算方法
- 数据分类
- 实数值(物品评分情况)
- 布尔值(用户的行为 是否点击 是否收藏)
- 欧氏距离, 是一个欧式空间下度量距离的方法. 两个物体, 都在同一个空间下表示为两个点, 假如叫做p,q, 分别都是n个坐标, 那么欧式距离就是衡量这两个点之间的距离. 欧氏距离不适用于布尔向量之间
- 数据分类
欧氏距离的值是一个非负数, 最大值正无穷, 通常计算相似度的结果希望是[-1,1]或[0,1]之间,一般可以使用
-
杰卡德相似度&余弦相似度&皮尔逊相关系数
- 余弦相似度
- 度量的是两个向量之间的夹角, 用夹角的余弦值来度量相似的情况
- 两个向量的夹角为0是,余弦值为1, 当夹角为90度是余弦值为0,为180度是余弦值为-1
- 余弦相似度在度量文本相似度, 用户相似度 物品相似度的时候较为常用
- 余弦相似度的特点, 与向量长度无关,余弦相似度计算要对向量长度归一化, 两个向量只要方向一致,无论程度强弱, 都可以视为’相似’
- 皮尔逊相关系数Pearson
- 实际上也是一种余弦相似度, 不过先对向量做了中心化, 向量a b 各自减去向量的均值后, 再计算余弦相似度
- 皮尔逊相似度计算结果在-1,1之间 -1表示负相关, 1表示正相关
- 度量两个变量是不是同增同减
- 皮尔逊相关系数度量的是两个变量的变化趋势是否一致, 不适合计算布尔值向量之间的相关度
- 杰卡德相似度 Jaccard
- 两个集合的交集元素个数在并集中所占的比例, 非常适用于布尔向量表示
- 分子是两个布尔向量做点积计算, 得到的就是交集元素的个数
- 分母是两个布尔向量做或运算, 再求元素和
- 余弦相似度适合用户评分数据(实数值), 杰卡德相似度适用于隐式反馈数据(0,1布尔值)(是否收藏,是否点击,是否加购物车)
- 余弦相似度
-
余弦相似度
- 皮尔逊相关系数
- 计算出用户1和其它用户之间的相似度
- 按照相似度大小排序, K近邻 如K取4:
- 取出近邻用户的购物清单
- 去除用户1已经购买过的商品
- 在剩余的物品中根据评分排序
- 物品相似度计算
- 余弦相似度对绝对值大小不敏感带来的问题
- 用户A对两部电影评分分别是1分和2分, 用户B对同样这两部电影进行评分是4分,5分 用余弦相似度计算,两个用户的相似度达到0.98
- 可以采用改进的余弦相似度, 先计算向量每个维度上的均值, 然后每个向量在各个维度上都减去均值后,在计算余弦相似度, 用调整的余弦相似度计算得到的相似度是-0.1
- 余弦相似度对绝对值大小不敏感带来的问题
- 物品相似度计算案例
- 找出物品1的相似商品
- 选择最近似的物品
- 基于用户与物品的协同过滤比较
4. 协同过滤推荐算法代码实现
-
构建数据集:
users = ["User1", "User2", "User3", "User4", "User5"] items = ["Item A", "Item B", "Item C", "Item D", "Item E"] # 构建数据集 datasets = [ ["buy",None,"buy","buy",None], ["buy",None,None,"buy","buy"], ["buy",None,"buy",None,None], [None,"buy",None,"buy","buy"], ["buy","buy","buy",None,"buy"], ]
-
计算时我们数据通常都需要对数据进行处理,或者编码,目的是为了便于我们对数据进行运算处理,比如这里是比较简单的情形,我们用1、0分别来表示用户的是否购买过该物品,则我们的数据集其实应该是这样的:
users = ["User1", "User2", "User3", "User4", "User5"] items = ["Item A", "Item B", "Item C", "Item D", "Item E"] # 用户购买记录数据集 datasets = [ [1,0,1,1,0], [1,0,0,1,1], [1,0,1,0,0], [0,1,0,1,1], [1,1,1,0,1], ] import pandas as pd df = pd.DataFrame(datasets, columns=items, index=users) print(df)
-
有了数据集,接下来我们就可以进行相似度的计算,不过对于相似度的计算其实是有很多专门的相似度计算方法的,比如余弦相似度、皮尔逊相关系数、杰卡德相似度等等。这里我们选择使用杰卡德相似系数[0,1]
# 直接计算某两项的杰卡德相似系数 from sklearn.metrics import jaccard_similarity_score # 计算Item A 和Item B的相似度 print(jaccard_similarity_score(df["Item A"], df["Item B"])) # 计算所有的数据两两的杰卡德相似系数 # from sklearn.metrics.pairwise import pairwise_distances from sklearn.metrics import jaccard_score # 计算用户间相似度 user_similar = 1 - pairwise_distances(df, metric="jaccard") user_similar = pd.DataFrame(user_similar, columns=users, index=users) print("用户之间的两两相似度:") print(user_similar) # 计算物品间相似度 item_similar = 1 - pairwise_distances(df.T, metric="jaccard") item_similar = pd.DataFrame(item_similar, columns=items, index=items) print("物品之间的两两相似度:") print(item_similar)
有了两两的相似度,接下来就可以筛选TOP-N相似结果,并进行推荐了
-
User-Based CF
import pandas as pd import numpy as np from pprint import pprint users = ["User1", "User2", "User3", "User4", "User5"] items = ["Item A", "Item B", "Item C", "Item D", "Item E"] # 用户购买记录数据集 datasets = [ [1,0,1,1,0], [1,0,0,1,1], [1,0,1,0,0], [0,1,0,1,1], [1,1,1,0,1], ] df = pd.DataFrame(datasets, columns=items, index=users) # 计算所有的数据两两的杰卡德相似系数 from sklearn.metrics.pairwise import pairwise_distances # 计算用户间相似度 user_similar = 1 - pairwise_distances(df.values, metric="jaccard") user_similar = pd.DataFrame(user_similar, columns=users, index=users) print("用户之间的两两相似度:") print(user_similar) topN_users = # 遍历每一行数据 for i in user_similar.index: # 取出每一列数据,并删除自身,然后排序数据 _df = user_similar.loc[i].drop([i]) _df_sorted = _df.sort_values(ascending=False) top2 = list(_df_sorted.index[:2]) topN_users[i] = top2 print("Top2相似用户:") pprint(topN_users) rs_results = # 构建推荐结果 for user, sim_users in topN_users.items(): rs_result = set() # 存储推荐结果 for sim_user in sim_users: # 构建初始的推荐结果 rs_result = rs_result.union(set(df.ix[sim_user].replace(0,np.nan).dropna().index)) # 过滤掉已经购买过的物品 rs_result -= set(df.ix[user].replace(0,np.nan).dropna().index) rs_results[user] = rs_result print("最终推荐结果:") pprint(rs_results)
-
Item-Based CF
import pandas as pd import numpy as np from pprint import pprint users = ["User1", "User2", "User3", "User4", "User5"] items = ["Item A", "Item B", "Item C", "Item D", "Item E"] # 用户购买记录数据集 datasets = [ [1,0,1,1,0], [1,0,0,1,1], [1,0,1,0,0], [0,1,0,1,1], [1,1,1,0,1], ] df = pd.DataFrame(datasets, columns=items, index=users) # 计算所有的数据两两的杰卡德相似系数 from sklearn.metrics.pairwise import pairwise_distances # 计算物品间相似度 item_similar = 1 - pairwise_distances(df.values.T, metric="jaccard") item_similar = pd.DataFrame(item_similar, columns=items, index=items) print("物品之间的两两相似度:") print(item_similar) topN_items = # 遍历每一行数据 for i in item_similar.index: # 取出每一列数据,并删除自身,然后排序数据 _df = item_similar.loc[i].drop([i]) _df_sorted = _df.sort_values(ascending=False) top2 = list(_df_sorted.index[:2]) topN_items[i] = top2 print("Top2相似物品:") print(topN_items) rs_results = # 构建推荐结果 for user in df.index: # 遍历所有用户 rs_result = set() for item in df.loc[user].replace(0,np.nan).dropna().index: # 取出每个用户当前已购物品列表 # 根据每个物品找出最相似的TOP-N物品,构建初始推荐结果 rs_result = rs_result.union(topN_items[item]) # 过滤掉用户已购的物品 rs_result -= set(df.loc[user].replace(0,np.nan).dropna().index) # 添加到结果中 rs_results[user] = rs_result print("最终推荐结果:") print(rs_results)
关于协同过滤推荐算法使用的数据集
在前面的demo中,我们只是使用用户对物品的一个购买记录,类似也可以是比如浏览点击记录、收听记录等等。这样数据我们预测的结果其实相当于是在预测用户是否对某物品感兴趣,对于喜好程度不能很好的预测。
因此在协同过滤推荐算法中其实会更多的利用用户对物品的“评分”数据来进行预测,通过评分数据集,我们可以预测用户对于他没有评分过的物品的评分。其实现原理和思想和都是一样的,只是使用的数据集是用户-物品的评分数据。
关于用户-物品评分矩阵
用户-物品的评分矩阵,根据评分矩阵的稀疏程度会有不同的解决方案
- 稠密评分矩阵
- 稀疏评分矩阵
这里先介绍稠密评分矩阵的处理,稀疏矩阵的处理相对会复杂一些,我们到后面再来介绍。
5. 使用协同过滤推荐算法对用户进行评分预测
- 数据集:
目的:预测用户1对物品E的评分
-
构建数据集:注意这里构建评分数据时,对于缺失的部分我们需要保留为None,如果设置为0那么会被当作评分值为0去对待
users = ["User1", "User2", "User3", "User4", "User5"] items = ["Item A", "Item B", "Item C", "Item D", "Item E"] # 用户购买记录数据集 datasets = [ [5,3,4,4,None], [3,1,2,3,3], [4,3,4,3,5], [3,3,1,5,4], [1,5,5,2,1], ]
-
计算相似度:对于评分数据这里我们采用皮尔逊相关系数[-1,1]来计算,-1表示强负相关,+1表示强正相关
pandas中corr方法可直接用于计算皮尔逊相关系数
df = pd.DataFrame(datasets, columns=items, index=users) print("用户之间的两两相似度:") # 直接计算皮尔逊相关系数 # 默认是按列进行计算,因此如果计算用户间的相似度,当前需要进行转置 user_similar = df.T.corr() print(user_similar.round(4)) print("物品之间的两两相似度:") item_similar = df.corr() print(item_similar.round(4))
# 运行结果: 用户之间的两两相似度: User1 User2 User3 User4 User5 User1 1.0000 0.8528 0.7071 0.0000 -0.7921 User2 0.8528 1.0000 0.4677 0.4900 -0.9001 User3 0.7071 0.4677 1.0000 -0.1612 -0.4666 User4 0.0000 0.4900 -0.1612 1.0000 -0.6415 User5 -0.7921 -0.9001 -0.4666 -0.6415 1.0000 物品之间的两两相似度: Item A Item B Item C Item D Item E Item A 1.0000 -0.4767 -0.1231 0.5322 0.9695 Item B -0.4767 1.0000 0.6455 -0.3101 -0.4781 Item C -0.1231 0.6455 1.0000 -0.7206 -0.4276 Item D 0.5322 -0.3101 -0.7206 1.0000 0.5817 Item E 0.9695 -0.4781 -0.4276 0.5817 1.0000
可以看到与用户1最相似的是用户2和用户3;与物品A最相似的物品分别是物品E和物品D。
注意: 我们在预测评分时,往往是通过与其有正相关的用户或物品进行预测,如果不存在正相关的情况,那么将无法做出预测。这一点尤其是在稀疏评分矩阵中尤为常见,因为稀疏评分矩阵中很难得出正相关系数。
-
评分预测:
User-Based CF 评分预测:使用用户间的相似度进行预测
关于评分预测的方法也有比较多的方案,下面介绍一种效果比较好的方案,该方案考虑了用户本身的评分评分以及近邻用户的加权平均相似度打分来进行预测:
p r e d ( u , i ) = r ^ u i = ∑ v ∈ U s i m ( u , v ) ∗ r v i ∑ v ∈ U ∣ s i m ( u , v ) ∣ pred(u,i)=\\hatr_ui=\\cfrac\\sum_v\\in Usim(u,v)*r_vi\\sum_v\\in U|sim(u,v)| pred(u,i)=r^ui=∑v∈U∣sim(u,v)∣∑v∈Usim(u,v)∗rvi
我们要预测用户1对物品E的评分,那么可以根据与用户1最近邻的用户2和用户3进行预测,计算如下:
p r e d ( u 1 , i 5 ) = 0.85 ∗ 3 + 0.71 ∗ 5 0.85 + 0.71 = 3.91 pred(u_1, i_5) =\\cfrac0.85*3+0.71*50.85+0.71 = 3.91 pred(u1python+django+mysql个性化购物商城推荐系统电子商务推荐系基于用户项目内容的协同过滤推荐算法webshoprsmpythonpython实现协同过滤推荐算法实现源代码下载Python+Django+Mysql个性化购物商城推荐系统电子商务推荐系基于用户、项目、内容的协同过滤推荐算法WebShopRSMPythonpython实现协同过滤推荐算法实现源代码下载一、项目简介1、开发工具和实现技术Python3.8,Django3,mysql8... 查看详情
python+django+mysql个性化二手车推荐系统汽车推荐系统基于用户项目内容的协同过滤推荐算法webcarcfrspythonpython实现协同过滤推荐算法实现源代码下载
Python+Django+Mysql个性化二手车推荐系统汽车推荐系统基于用户、项目、内容的协同过滤推荐算法WebCarCFRSPythonpython实现协同过滤推荐算法实现源代码下载一、项目简介1、开发工具和实现技术Python3.8,Django3,mysql8,... 查看详情
python基于机器学习方法实现的电影推荐系统(代码片段)
...互联网行业的应用非常广泛,今日头条、美团点评等都有个性化推荐,推荐算法抽象来讲,是一种对于内容满意度的拟合函数,涉及到用户特征和内容特征,作为模型训练所需维度的两大来源,而点击率,页面停留时间,评论或... 查看详情
推荐算法简介
...的推荐系统利用了不同的方式。推荐系统的主要功能是以个性化的方式帮助用户从极大的搜索空间中快速找到感兴趣的对象。因此,目前所用的推荐系统多为个性化推荐系统。个性化推荐的成功应用需要两个条件:在推荐系统的... 查看详情
文章翻译:recommendingitemstomorethanabillionpeople(面向十亿级用户的推荐系统)(代码片段)
...据集上使用许多机器学习算法变得更加困难。特别是对于个性化推荐问题,数据采样通常不是一种选择,需要对分布式算法设计进行创新,以便我们能够扩展到这些不断增长的数据集。协同过滤(CF)是其中一个重要的应用领域。CF... 查看详情
推荐系统相关算法
...等因素,对于新用户引导有一定的作用,但是并不是一个个性化的算法 以下是一些热门排名的公式实现:1defhacker_news_ran 查看详情
推荐系统手把手带你学推荐系统3实现第一个推荐系统(代码片段)
...统,在很多领域都有广泛的使用.推荐系统可以为用户提供个性化的产品,挖掘用户的潜在需求.从今天开始,小白我就带大家来学习一下推荐系统方向的知识.基于排名的推荐系统基于排名的推荐系统是最容易实现的.人们大概率会喜... 查看详情
大数据推荐系统算法代码全接触(企业内训,现场实录,机器学习算法+spark实现)
...该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户 查看详情
大数据推荐系统算法代码全接触(企业内训,现场实录,机器学习算法+spark实现)
...该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户 查看详情
推荐系统基础-纪要(代码片段)
推荐系统纪要推荐概念Lambda架构介绍推荐算法架构推荐模型构建流程协同过滤思路介绍相似度计算使用不同相似度计算方式实现协同过滤协同过滤基于模型的算法推荐系统的评价推荐系统的冷启动基于内容的推荐基于内容的推荐... 查看详情
bat大牛亲授-个性化推荐算法实战
课程目录:第1章个性化推荐算法综述个性化推荐算法综述部分,主要介绍个性化推荐算法综述,本课程内容大纲以及本课程所需要准备的编程环境与基础知识。1-1个性化推荐算法课程导学试看1-2个性化推荐算法综述试看1-3个性... 查看详情
个性化推荐系统架构设计
推荐系统设计1.推荐系统要素2.推荐系统架构1.推荐系统要素UI和UE(前端界面)数据(Lambda架构)业务知识算法2.推荐系统架构推荐系统整体架构大数据Lambda架构由Twitter工程师NathanMarz(storm项目发起人)提出Lambda系统架构提供了一个结合... 查看详情
个性化推荐系统架构设计
推荐系统设计1.推荐系统要素2.推荐系统架构1.推荐系统要素UI和UE(前端界面)数据(Lambda架构)业务知识算法2.推荐系统架构推荐系统整体架构大数据Lambda架构由Twitter工程师NathanMarz(storm项目发起人)提出Lambda系统架构提供了一个结合... 查看详情
基于ssm实现个性化健康饮食推荐系统(代码片段)
作者主页:编程指南针作者简介:Java领域优质创作者、CSDN博客专家、掘金特邀作者、多年架构师设计经验、腾讯课堂常驻讲师主要内容:Java项目、毕业设计、简历模板、学习资料、面试题库、技术互助文末获取源码... 查看详情
基于ssm实现个性化健康饮食推荐系统(代码片段)
作者主页:编程指南针作者简介:Java领域优质创作者、CSDN博客专家、掘金特邀作者、多年架构师设计经验、腾讯课堂常驻讲师主要内容:Java项目、毕业设计、简历模板、学习资料、面试题库、技术互助文末获取源码... 查看详情
python+django+mysql志愿者活动推荐系统基于用户项目内容的协同过滤推荐算法simplewebactivitycfrspythonpython实现协同过滤推荐算法实现源代码下载
Python+Django+Mysql志愿者活动推荐系统个性化活动推荐基于用户、项目、内容的协同过滤推荐算法SimpleWebActivityCFRSPythonpython实现协同过滤推荐算法实现源代码下载一、项目简介1、开发工具和实现技术Python3.8,Django3,mys... 查看详情
bat大牛亲授个性化推荐算法实战
第1章个性化推荐算法综述个性化推荐算法综述部分,主要介绍个性化推荐算法综述,本课程内容大纲以及本课程所需要准备的编程环境与基础知识。第2章基于邻域的个性化召回算法LFM本章节重点介绍一种基于邻域的个性化召回... 查看详情
bat大牛亲授-个性化推荐算法实战
第1章个性化推荐算法综述个性化推荐算法综述部分,主要介绍个性化推荐算法综述,本课程内容大纲以及本课程所需要准备的编程环境与基础知识。1-1个性化推荐算法综述1-2个性化召回算法综述第2章基于邻域的个性化召回算法L... 查看详情