情感分析-r与spark机器学习库测试分类比较

     2022-05-23     410

关键词:

1     环境

R 3.0以上版本

安装机器学习软件包:

说明:此两个包是R机器学习包。RTextTools包含文本处理,e1071包含分类器。

> install.packages("RTextTools")

> install.packages("e1071")

 

2     实验步骤

研究对象:http://www.xueqing.tv/cms/article/107#rd?sukey=3903d1d3b699c20870d8c0b36a06c8665d146b24b47f8953d7202230c1ad9c9dd368d27959ec776c4cd0e2c94248f632 

此篇博文(最上面图是word2vec的图,与本篇博文无关)使用R语言,对文本进行分类,并且使用多种分类器。

其包含两部分,都是对句子进行情感分类。一部分使用手工添加的少量数据进行。

另一部分使用80条happy数据,80条sad数据,10条happy测试数据,10条sad测试数据(代码路径:sentiment_analyse.R)。

3     试验结果

实验一:对各个分类器初步比较,作者手工添加数据,进行预测(代码文件:sentiment_compare.R):

 

预测准确率:

 

 

分类器

准确率

随机森林

60%

最大熵

60%

决策树

60%

BAGGING

60%

SVM

20%

 

实验二(代码文件sentiment_analyse.R):

数据文件:http:///sentiment/data/

采用bayes, MAXENT, SVM, SLDA, BAGGING, RF, TREE分类器,进行分类

结果如下:

 

分类器名称

准确率(R)

准确率(spark)

贝叶斯

65%

95%

随机森林

95%

90%

SVM

95%

 

SLDA

75%

 

BAGGING

95%

 

决策树

100%

85%

MAXENTROPY

95%

 

GBT

 

90%

Vord2vec

 

70%

文本情感分析-机器学习实验三(代码片段)

情感分析-机器学习实验三实验目的:通过实验,掌握文本分析的整体流程,了解文本分类、情感分析、自动摘要等内容通过给定的文本内容,完成分词、文本向量化、文本分类、情感分析等相关实验实验可从文本... 查看详情

使用机器学习的情感分析分类器

】使用机器学习的情感分析分类器【英文标题】:SentimentAnalysisclassifierusingMachineLearning【发布时间】:2016-04-3020:08:14【问题描述】:我们如何为情绪分析制作一个有效的分类器,因为为此我们需要在庞大的数据集上训练我们的分... 查看详情

阿旭机器学习实战33中文文本分类之情感分析--朴素贝叶斯knn逻辑回归(代码片段)

【阿旭机器学习实战】系列文章主要介绍机器学习的各种算法模型及其实战案例,欢迎点赞,关注共同学习交流。目录1.查看原始数据结构2.导入数据并进行数据处理2.1提取数据与标签2.2过滤停用词2.3TfidfVectorizer将文本向... 查看详情

基于机器学习的情感分析是啥意思

以下以语义特征为例:机器学习基于语义特征的情感分析基于语义特征的情感分析先人已有研究,可以通过情感词典匹配来做,但是应用机器学习在这方面会使精确度更高些。 以本人参与的一个项目为主,总结下相关技术点... 查看详情

spark学习10_1sparkmllib入门与相关资料索引(代码片段)

目录资料mllib统计相关性分析KMeans聚类算法SVM算法其他算法实例的文件目录位置资料Spark机器学习库(MLlib)中文指南关于spark机器学习的知乎专栏Spark入门实战系列--8.SparkMLlib(上)--机器学习及SparkMLlib简介基本Kmeans算法介绍及其... 查看详情

python基于机器学习的微博情感分析与研究(代码片段)

源码下载地址中文微博情感分类语料库"情感分析"是我本科的毕业设计,也是我入门并爱上NLP的项目hhh,当时网上相关语料库的质量都太低了,索性就自己写了个爬虫,一边标注一边爬,现在就把它发出来供大家交流。因为是自己... 查看详情

[机器学习spark]spark机器学习库mllib的概述与数据类型(代码片段)

...博主:发量不足📑📑本期更新内容:Spark机器学习库MLlib的概述与数据类型📑📑下篇文章预告:SparkMLlib基本统计💨💨简介:分享的是一个当代疫情在校封校的大学生学 查看详情

掌握spark机器学习库-05-spark中矩阵与向量的使用

1)介绍矩阵:Matrix,看做二维表,基本运算(+,-,*,T)向量:Vectors,方向和大小,基本运算,范数2)spark中向量的使用(主要使用breeze.linalg)3)spark中矩阵的使用  查看详情

机器学习:基于神经网络对用户评论情感分析预测(代码片段)

机器学习:基于神经网络对用户评论情感分析预测作者:AOAIYI作者简介:Python领域新星作者、多项比赛获奖者:AOAIYI首页😊😊😊如果觉得文章不错或能帮助到你学习,可以点赞👍收藏📁... 查看详情

机器学习朴素贝叶斯(代码片段)

....4.2案例计算2.4.3文章分类计算2.5小结3案例:商品评论情感分析2.1api介绍3.2商品评论情感分析3.2.1步骤分析3.2.2代码实现3.3总结4朴素贝叶斯算法总结4.1朴素贝叶斯优缺点4.2朴素贝叶斯内 查看详情

文本情感分析:基于词袋模型(vsmlsan-gram)的文本表示(代码片段)

...随机森林,来训练模型。因此,用Kaggle上经典的电影评论情感分析题,来学习如何用传统机器学习方法解决分类问题。通过这个情感分析的题目,我会整理做特征工程、参数调优和模型融合的方法,这一系列会有四篇文章。这篇... 查看详情

r:判别分析

判别与聚类的比较:聚类分析和判别分析有相似的作用,都是起到分类的作用。判别分析是已知分类然后总结出判别规则,是一种有指导的学习;聚类分析则是有了一批样本,不知道它们的分类,甚至连分成几类也不知道,希望... 查看详情

r:判别分析

判别与聚类的比较:聚类分析和判别分析有相似的作用,都是起到分类的作用。判别分析是已知分类然后总结出判别规则,是一种有指导的学习;聚类分析则是有了一批样本,不知道它们的分类,甚至连分成几类也不知道,希望... 查看详情

使用 LingPipe 进行分层情感分析

】使用LingPipe进行分层情感分析【英文标题】:DoingahierarchicalsentimentanalysiswithLingPipe【发布时间】:2011-11-2118:50:18【问题描述】:这是在使用LingPipe机器学习工具进行情感分析的背景下。我必须对大段落中的句子是否具有正面/负... 查看详情

基于机器学习和tfidf的情感分类算法,详解自然语言处理(代码片段)

...详细讲解自然语言处理过程,基于机器学习和TFIDF的情感分类算法,并进行了各种分类算法(SVM、RF、LR、Boosting)对比本文分享自华为云社区《[Python人工智能]二十三.基于机器学习和TFIDF的情感分类(含详细的N... 查看详情

python|基于lendingclub数据的分类预测研究part01——问题重述+特征选择+算法对比(代码片段)

...f1a;机器学习&深度学习本文利用Python对数据集进行数据分析,并用多种机器学习算法进行分类预测。具体文章和数据集可以见我所发布的资源:发布的资源Python|基于LendingClub数据的分类预测研究Part01——问题重述+特... 查看详情

python机器学习库哪个比较好些

...聚焦在统计模型上的强大的库,主要用于预测性和探索性分析,拟合线性模型、进行统计分析或者预测性建模,使用Statsmodels是非常合适的。三、PyMCPyMC是做贝叶斯曲线的工具,其包含贝叶斯模型、统计分布和模型收敛的诊断工... 查看详情

spark机器学习速成宝典推荐引擎——协同过滤

目录  推荐模型的分类  条目2  条目3  条目4  条目5  条目6  条目7  条目8  条目9 推荐模型的分类  最为流行的两种方法是基于内容的过滤、协同过滤。  基于内容的过滤:  比如用户A买了商品... 查看详情