使用 LingPipe 进行分层情感分析

     2023-03-13     37

关键词:

【中文标题】使用 LingPipe 进行分层情感分析【英文标题】:Doing a hierarchical sentiment analysis with LingPipe 【发布时间】:2011-11-21 18:50:18 【问题描述】:

这是在使用 LingPipe 机器学习工具进行情感分析的背景下。我必须对大段落中的句子是否具有正面/负面情绪进行分类。我知道 LingPipe 中的以下方法

    根据其极性(负极或正极)对整个段落进行分类。

    在这里,我还不知道句子级别的极性。我们仍处于段落级别。如何确定段落的句子级别的极性,段落中的句子是正句还是负句?我知道如果一个句子是主观/客观的,LingPipe 能够分类。所以使用这种方法,,,,

    ,,,, 我应该

    首先在大量主观/客观的句子上训练 LingPipe。

    使用经过训练的模型从测试段落中提取所有主观句子。 通过手动将它们标记为正/负,根据提取的主观句子的极性来训练 LingPipe 分类器。

    现在使用经过训练的极性模型,并输入一个测试主观句子(通过将句子通过经过训练的主观/客观模型来完成),然后确定该语句是正面还是负面?

    上述方法有效吗?在上面提出的方法中,我们知道 LingPipe 能够接受大量文本内容(段落)进行极性分类。如果我们只通过一个主观句子进行极性分类,它会做得很好吗?我很困惑!

【问题讨论】:

【参考方案1】:

您可能想看看文献中的多层次分析方法,例如

李,S.,等人。 (2010)。 “Exploiting Combined Multi-level Model for Document Sentiment Analysis”,2010 年模式识别国际会议。

Yessenalina, A. 等人。 (2010)。 “文档级情感分类的多级结构化模型”,2010 年自然语言处理经验方法会议论文集,第 1046-1056 页,麻省理工学院,美国马萨诸塞州,2010 年 10 月 9 日至 11 日。

多级分析方法在信息检索中非常常见,例如在向量空间相似性搜索的内容索引中。

Ling Pipe 等环境是一个很好的入门方法,但最终您需要使用 yura 建议的较低级别、更细粒度的工具。

【讨论】:

【参考方案2】:

包括 lingpipe 在内的大多数机器学习库都是基于行的(具有平面特征的对象)。所以如果你想用它做一些层次分类,你应该对你的数据进行去规范化。例如,您可以在同一特征集中具有段落和句子的特征。如果您只使用单词分类,您可以创建这样的特征 PARGRAPH_WORDX=true, SENTENCE_WORDX=true。 其他一些工具包允许您在没有非规范化的情况下表达您的模型,即所谓的图形模型示例是 CRF、ACRF、马尔可夫模型等您可以在 mallet 和 Factorie 中找到的实现。

【讨论】:

谢谢你。简而言之,你的意思是说,如果我在段落级别使用一个特征集,那么同样的特征集也可以在句子级别使用? 是的,您可以将段落和句子的特征组合在一个分类下的句子特征集中。有时它的作品。就像您想对树中的某个节点进行分类,因此还要添加其所有父节点的特征。

使用 Lingpipe 进行词级语言模型

】使用Lingpipe进行词级语言模型【英文标题】:UsingLingpipeforword-levellanguagemodel【发布时间】:2011-12-2307:37:39【问题描述】:我一直在尝试让一个词级语言模型在lingpipe上工作。我遇到的所有示例和教程都显示了character-n-gram模型。... 查看详情

使用 tensorflow 理解 LSTM 模型进行情感分析

】使用tensorflow理解LSTM模型进行情感分析【英文标题】:UnderstandingLSTMmodelusingtensorflowforsentimentanalysis【发布时间】:2017-11-0706:06:23【问题描述】:我正在尝试学习使用Tensorflow进行情感分析的LSTM模型,我已经通过了LSTMmodel。以下... 查看详情

Python - 使用逐点互信息进行情感分析

】Python-使用逐点互信息进行情感分析【英文标题】:Python-SentimentAnalysisusingPointwiseMutualInformation【发布时间】:2014-04-0219:46:33【问题描述】:from__future__importdivisionimporturllibimportjsonfrommathimportlogdefhits(word1,word2=""):query="http:// 查看详情

使用 Mahout 进行朴素贝叶斯分类的情感分析

】使用Mahout进行朴素贝叶斯分类的情感分析【英文标题】:SentimentalanalysiswithNaiveBayesclassificationusingMahout【发布时间】:2012-07-1508:14:46【问题描述】:我正在尝试使用Mahout训练朴素贝叶斯分类器。我不太清楚的第一件事是我的训... 查看详情

使用 LingPipe 使用朴素贝叶斯对数据进行分类

】使用LingPipe使用朴素贝叶斯对数据进行分类【英文标题】:ClassifyingdatawithnaivebayesusingLingPipe【发布时间】:2014-03-1723:06:22【问题描述】:我想根据其内容将某些数据分类为不同的类别。我使用朴素贝叶斯分类器完成了它,我得... 查看详情

Perl 或 Java 情绪分析

...任何用于情感分析的优秀Perl模块和/或Java类。我读过关于LingPipe的文章,但该程序最终需要用于商业用途,所以开源会更好。我也研究了GATE,但他们关于情绪分析的文档充其量是稀疏的。【问题讨论】:【参考方案1】:您可能... 查看详情

keras深度学习实战——使用长短时记忆网络构建情感分析模型(代码片段)

Keras深度学习实战——使用长短时记忆网络构建情感分析模型0.前言1.构建LSTM模型进行情感分类1.1数据集分析1.2模型构建2.构建多层LSTM进行情感分类相关链接0.前言我们已经学习了如何使用循环神经网络(Recurrentneuralnetworks,RNN)构建... 查看详情

用rnn&cnn进行情感分析-pytorch(代码片段)

...集1.读取数据集2.预处理数据集二、利用RNN进行情感分析1.使用RNN表示单个文本2.加载预训练的词向量3.训练和评估模型4.预测三、利用CNN进行情感分析1.一维卷积2.textCNN模型3.加载预训练词向量4.训练和评估模型5.预测一、情感分析... 查看详情

短文本情感分析

...向性分析和意见挖掘,它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程,其中情感分析还可以细分为情感极性(倾向)分析,情感程度分析,主客观分析等。情感极性分析的目的是对文本进行褒义、贬义、... 查看详情

keras深度学习实战——使用循环神经网络构建情感分析模型(代码片段)

Keras深度学习实战——使用循环神经网络构建情感分析模型0.前言1.使用循环神经网络构建情感分析模型1.1数据集分析1.2构建RNN模型进行情感分析相关链接0.前言在《循环神经详解与实现》一节中,我们已经了解循环神经网络(Recurr... 查看详情

对与音乐相关的 Twitter 数据进行情感分析的功能

...情感分析。在网上进行了大量搜索后,我已经了解了如何使用“tweepy”pythonapi获取推文,并且还 查看详情

python使用阿里api进行情感分析(代码片段)

目录1.作者介绍2.原理介绍2.1自然语言处理情感分析介绍2.2API介绍3.实现过程4.实验代码及结果4.1实验代码4.2实验结果1.作者介绍魏永健,男,西安工程大学电子信息学院,2021级研究生研究方向:电声学电子邮件ÿ... 查看详情

实训第十一天

  系统中使用的情感分析技术我们采用的是基于词典的情感分析,情感分析(SA)又称为倾向性分析和意见挖掘,它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程,其中情感分析还可以细分为情感极性(... 查看详情

Python中的情感分析代码使用了啥算法?

】Python中的情感分析代码使用了啥算法?【英文标题】:WhatalgorithmthatwasusedonthesentimentanalysiscodeinPython?Python中的情感分析代码使用了什么算法?【发布时间】:2018-09-0702:04:30【问题描述】:我有一个关于情绪分析的问题。我有一... 查看详情

如何解决情感分析中的歧义?

...。如何解决情感分析中的这种歧义?另外供大家参考,我使用的算法是朴素贝叶斯分类器。对 查看详情

分类:推文情感分析 - 步骤顺序

...进行了相应的预处理和准备。所以这就是我将如何进行:使用train_test_split(80:20比例)保留测试数据集。矢量化x_train,因为推文不是数字 查看详情

hanlp基于svm支持向量机进行chnsenticorp情感分析(代码片段)

...nSentiCorp.zip下载解压后结构:实例数据样例:下面使用HanLP基于SVM支持向量机进行分类训练&#x 查看详情

hanlp基于svm支持向量机进行chnsenticorp情感分析(代码片段)

...nSentiCorp.zip下载解压后结构:实例数据样例:下面使用HanLP基于SVM支持向量机进行分类训练&#x 查看详情