关键词：
1. 案例介绍
为了对前面的word embedding这种常用的文本向量化的方法进行巩固，这里我们会完成一个文本情感分类的案例
现在我们有一个经典的数据集IMDB数据集，地址：http://ai.stanford.edu/~amaas/data/sentiment/，这是一份包含了5万条流行电影的评论数据，其中训练集25000条，测试集25000条。数据格式如下：
下图左边为名称，其中名称包含两部分，分别是序号和情感评分，（1-4为neg，5-10为pos），右边为评论内容
根据上述的样本，需要使用pytorch完成模型，实现对评论情感进行预测
2. 思路分析
首先可以把上述问题定义为分类问题，情感评分分为1-10，10个类别（也可以理解为回归问题，这里当做分类问题考虑）。那么根据之前的经验，我们的大致流程如下：
- 准备数据集
- 构建模型
- 模型训练
- 模型评估
知道思路之后，那么我们一步步来完成上述步骤
3. 准备数据集
准备数据集和之前的方法一样，实例化dataset，准备dataloader，最终我们的数据可以处理成如下格式：
其中有两点需要注意：
- 如何完成基础打Dataset的构建和Dataloader的准备
- 每个batch中文本的长度不一致的问题如何解决
- 每个batch中的文本如何转化为数字序列
3.1 基础Dataset的准备
import torch
from torch.utils.data import DataLoader,Dataset
import os
import re
data_base_path = r"data\\aclImdb"
#1. 定义tokenize的方法
def tokenize(text):
# fileters = '!"#$%&()*+,-./:;<=>?@[\\\\]^_`|~\\t\\n'
fileters = ['!','"','#','$','%','&','\\(','\\)','\\*','\\+',',','-','\\.','/',':',';','<','=','>','\\?','@'
,'\\[','\\\\','\\]','^','_','`','\\','\\|','\\','~','\\t','\\n','\\x97','\\x96','”','“',]
text = re.sub("<.*?>"," ",text,flags=re.S)
text = re.sub("|".join(fileters)," ",text,flags=re.S)
return [i.strip() for i in text.split()]
#2. 准备dataset
class ImdbDataset(Dataset):
def __init__(self,mode):
super(ImdbDataset,self).__init__()
if mode=="train":
text_path = [os.path.join(data_base_path,i) for i in ["train/neg","train/pos"]]
else:
text_path = [os.path.join(data_base_path,i) for i in ["test/neg","test/pos"]]
self.total_file_path_list = []
for i in text_path:
self.total_file_path_list.extend([os.path.join(i,j) for j in os.listdir(i)])
def __getitem__(self, idx):
cur_path = self.total_file_path_list[idx]
cur_filename = os.path.basename(cur_path)
label = int(cur_filename.split("_")[-1].split(".")[0]) -1 #处理标题，获取label，转化为从[0-9]
text = tokenize(open(cur_path).read().strip()) #直接按照空格进行分词
return label,text
def __len__(self):
return len(self.total_file_path_list)
# 2. 实例化，准备dataloader
dataset = ImdbDataset(mode="train")
dataloader = DataLoader(dataset=dataset,batch_size=2,shuffle=True)
#3. 观察数据输出结果
for idx,(label,text) in enumerate(dataloader):
print("idx：",idx)
print("table:",label)
print("text:",text)
break
输出如下：
idx： 0
table: tensor([3, 1])
text: [('I', 'Want'), ('thought', 'a'), ('this', 'great'), ('was', 'recipe'), ('a', 'for'), ('great', 'failure'), ('idea', 'Take'), ('but', 'a'), ('boy', 's'), ('was', 'y'), ('it', 'plot'), ('poorly', 'add'), ('executed', 'in'), ('We', 'some'), ('do', 'weak'), ('get', 'completely'), ('a', 'undeveloped'), ('broad', 'characters'), ('sense', 'and'), ('of', 'than'), ('how', 'throw'), ('complex', 'in'), ('and', 'the'), ('challenging', 'worst'), ('the', 'special'), ('backstage', 'effects'), ('operations', 'a'), ('of', 'horror'), ('a', 'movie'), ('show', 'has'), ('are', 'known'), ('but', 'Let'), ('virtually', 'stew'), ('no', 'for'), ...('show', 'somehow'), ('rather', 'destroy'), ('than', 'every'), ('anything', 'copy'), ('worth', 'of'), ('watching', 'this'), ('for', 'film'), ('its', 'so'), ('own', 'it'), ('merit', 'will')]
明显，其中的text内容出现对应，和想象的不太相似，出现问题的原因在于Dataloader中的参数collate_fn
collate_fn的默认值为torch自定义的default_collate,collate_fn的作用就是对每个batch进行处理，而默认的default_collate处理出错。
解决问题的思路：
手段1：考虑先把数据转化为数字序列，观察其结果是否符合要求，之前使用DataLoader并未出现类似错误
手段2：考虑自定义一个collate_fn，观察结果
这里使用方式2，自定义一个collate_fn,然后观察结果：
def collate_fn(batch):
#batch是list，其中是一个一个元组，每个元组是dataset中__getitem__的结果
batch = list(zip(*batch))
labes = torch.tensor(batch[0],dtype=torch.int32)
texts = batch[1]
del batch
return labes,texts
dataloader = DataLoader(dataset=dataset,batch_size=2,shuffle=True,collate_fn=collate_fn)
#此时输出正常
for idx,(label,text) in enumerate(dataloader):
print("idx：",idx)
print("table:",label)
print("text:",text)
break
3.2 文本序列化
再介绍word embedding的时候，我们说过，不会直接把文本转化为向量，而是先转化为数字，再把数字转化为向量，那么这个过程该如何实现呢？
这里我们可以考虑把文本中的每个词语和其对应的数字，使用字典保存，同时实现方法把句子通过字典映射为包含数字的列表。
实现文本序列化之前，考虑以下几点:
- 如何使用字典把词语和数字进行对应
- 不同的词语出现的次数不尽相同，是否需要对高频或者低频词语进行过滤，以及总的词语数量是否需要进行限制
- 得到词典之后，如何把句子转化为数字序列，如何把数字序列转化为句子
- 不同句子长度不相同，每个batch的句子如何构造成相同的长度（可以对短句子进行填充，填充特殊字符）
- 对于新出现的词语在词典中没有出现怎么办（可以使用特殊字符代理）
思路分析：
- 对所有句子进行分词
- 词语存入字典，根据次数对词语进行过滤，并统计次数
- 实现文本转数字序列的方法
- 实现数字序列转文本方法
import numpy as np
class Word2Sequence():
UNK_TAG = "UNK"
PAD_TAG = "PAD"
UNK = 0
PAD = 1
def __init__(self):
self.dict =
self.UNK_TAG :self.UNK,
self.PAD_TAG :self.PAD
self.fited = False
def to_index(self,word):
"""word -> index"""
assert self.fited == True,"必须先进行fit操作"
return self.dict.get(word,self.UNK)
def to_word(self,index):
"""index -> word"""
assert self.fited , "必须先进行fit操作"
if index in self.inversed_dict:
return self.inversed_dict[index]
return self.UNK_TAG
def __len__(self):
return self(self.dict)
def fit(self, sentences, min_count=1, max_count=None, max_feature=None):
"""
:param sentences:[[word1,word2,word3],[word1,word3,wordn..],...]
:param min_count: 最小出现的次数
:param max_count: 最大出现的次数
:param max_feature: 总词语的最大数量
:return:
"""
count =
for sentence in sentences:
for a in sentence:
if a not in count:
count[a] = 0
count[a] += 1
# 比最小的数量大和比最大的数量小的需要
if min_count is not None:
count = k: v for k, v in count.items() if v >= min_count
if max_count is not None:
count = k: v for k, v in count.items() if v <= max_count
# 限制最大的数量
if isinstance(max_feature, int):
count = sorted(list(count.items()), key=lambda x: x[1])
if max_feature is not None and len(count) > max_feature:
count = count[-int(max_feature):]
for w, _ in count:
self.dict[w] = len(self.dict)
else:
for w in sorted(count.keys()):
self.dict[w] = len(self.dict)
self.fited = True
# 准备一个index->word的字典
self.inversed_dict = dict(zip(self.dict.values(), self.dict.keys()))
def transform(self, sentence,max_len=None):
"""
实现吧句子转化为数组（向量）
:param sentence:
:param max_len:
:return:
"""
assert self.fited, "必须先进行fit操作"
if max_len is not None:
r = [self.PAD]*max_len
else:
r = [self.PAD]*len(sentence)
if max_len is not None and len(sentence)>max_len:
sentence=sentence[:max_len]
for index,word in enumerate(sentence):
r[index] = self.to_index(word)
return np.array(r,dtype=np.int64)
def inverse_transform(self,indices):
"""
实现从数组 转化为文字
:param indices: [1,2,3....]
:return:[word1,word2.....]
"""
sentence = []
for i in indices:
word = self.to_word(i)
sentence.append(word)
return sentence
if __name__ == '__main__':
w2s = Word2Sequence()
w2s.fit([
["你", "好", "么"],
["你", "好", "哦"]])
print(w2s.dict)
print(w2s.fited)
print(w2s.transform(["你","好","嘛"]))
print(w2s.transform(["你好嘛"],max_len=10))
完成了wordsequence之后，接下来就是保存现有样本中的数据字典，方便后续的使用。
实现对IMDB数据的处理和保存
#1. 对IMDB的数据记性fit操作
def fit_save_word_sequence():
from wordSequence import Word2Sequence
ws = Word2Sequence()
train_path = [os.path.join(data_base_path,i) for i in ["train/neg","train/pos"]]
total_file_path_list = []
for i in train_path:
total_file_path_list.extend([os.path.join(i, j) for j in os.listdir(i)])
for cur_path in tqdm(total_file_path_list,ascii=True,desc="fitting"):
ws.fit(tokenize(open(cur_path).read().strip()))
ws.build_vocab()
# 对wordSequesnce进行保存
pickle.dump(ws,open("./model/ws.pkl","wb"))
#2. 在dataset中使用wordsequence
ws = pickle.load(open("./model/ws.pkl","rb"))
def collate_fn(batch):
MAX_LEN = 500
#MAX_LEN = max([len(i) for i in texts]) #取当前batch的最大值作为batch的最大长度
batch = list(zip(*batch))
labes = torch.tensor(batch[0],dtype=torch.int)
texts = batch[1]
#获取每个文本的长度
lengths = [len(i) if len(i)<MAX_LEN else MAX_LEN for i in texts]
texts = torch.tensor([ws.transform(i, MAX_LEN) for i in texts])
del batch
return labes,texts,lengths
#3. 获取输出
dataset = ImdbDataset(ws,mode="train")
dataloader = DataLoader(dataset=dataset,batch_size=20,shuffle=True,collate_fn=collate_fn)
for idx,(label,text,length) in enumerate(dataloader):
print("idx：",idx)
print("table:",label)
print("text:",text)
print("length:",length)
break
输出如下
idx： 0
table: tensor([ 7, 4, 3, 8, 1, 10, 7, 10, 7, 2, 1, 8, 1, 2, 2, 4, 7, 10,
1, 4], dtype=torch.int32nlp循环神经网络实现情感分类(代码片段)
循环神经网络实现文本情感分类1.Pytorch中LSTM和GRU模块使用1.1LSTM介绍1.2LSTM使用示例1.3GRU的使用示例1.4双向LSTM1.5LSTM和GRU的使用注意点2.使用LSTM完成文本情感分类2.1修改模型2.2完成训练和测试代码2.3模型训练的最终输出2.4添加进度... 查看详情
自然语言处理（nlp）基于循环神经网络实现情感分类(代码片段)
...务描述本示例教程演示如何在IMDB数据集上用RNN网络完成文本分类的任务。IMDB数据集是一个对电影评论标注为正向评论与负向评论的数据集，共有25000条文本数据作为训练集，25000条文本数据作为测试集。该数据集的官方地址为：... 查看详情
从整体视角了解情感分析文本分类！(代码片段)
... 作者：太子长琴，算法工程师，Datawhale成员文本分类是自然语言处理（NLP）最基础核心的任务，或者换句话说，几乎所有NLP任务都是「分类」任务，或者涉及到「分类」概念。比如分词、词性标注... 查看详情
nlp进阶，bert+bilstm情感分析实战(代码片段)
...、甚至安全领域的异常访问日志分析等等实际上都可以用文本分类的方式去做，情感分析的问题本质是个二分类或者多分类的问题。什么是Bert？BERT的全称为BidirectionalEncoderRepresentationfro 查看详情
nlp文本情感分析(代码片段)
...办法复原，惨兮兮/(ㄒoㄒ)/，具体内容今天来补上文本情感分析一、情感分析简介二、文本介绍及语料分析三、数据集分析四、LSTM模型五、重点函数讲解plot_modelnp_utils.to_categoricalmodel.summary()特别感谢一、情感分析简介 ... 查看详情
自然语言处理（nlp）基于循环神经网络实现情感分类(代码片段)
【自然语言处理（NLP）】基于循环神经网络实现情感分类活动地址：[CSDN21天学习挑战赛](https://marketing.csdn.net/p/bdabfb52c5d56532133df2adc1a728fd)作者简介：在校大学生一枚，华为云享专家，阿里云星级博主，... 查看详情
文本分类(代码片段)
文本情感分类文本分类是自然语言处理的一个常见任务，它把一段不定长的文本序列变换为文本的类别。本节关注它的一个子问题：使用文本情感分类来分析文本作者的情绪。这个问题也叫情感分析，并有着广泛的应用。同搜索... 查看详情
第二天学习进度--文本情感分类(代码片段)
昨天学习了简单的文本处理，之后在课后的练习中实现了包括了对tf-idf的处理和基于朴素贝叶斯简单的文本分类基于tf-idf的数据集在出现多个关键词的时候一般能够相对准确对文本进行分类，但是对于相对具有深层含义的内容，... 查看详情
文本情感分析-机器学习实验三(代码片段)
...分析-机器学习实验三实验目的：通过实验，掌握文本分析的整体流程，了解文本分类、情感分析、自动摘要等内容通过给定的文本内容，完成分词、文本向量化、文本分类、情感分析等相关实验实验可从文本分类... 查看详情
nlp进阶，bert+bilstm情感分析实战(代码片段)
...、甚至安全领域的异常访问日志分析等等实际上都可以用文本分类的方式去做，情感分析的问题本质是个二分类或者多分类的问题。什么是Bert？BERT的全称为BidirectionalEncoderRepresentationfromTransformers，是一个预训练的语... 查看详情
nlp的文本分析与特征工程(代码片段)
...本文中，我将使用NLP和Python解释如何为机器学习模型分析文本数据和提取特征。自然语言处理（NLP）是人工智能的一个研究领域，它研究计算机与人类语言之间的相互作用，特别是如何对计算机进行编程以处理和分析大量自然语... 查看详情
pytorch实现文本情感分类流程(代码片段)
文章目录基本概念介绍文本情感分类准备数据集文本的序列化构建模型模型的训练与评估完整代码基本概念介绍tokenization：分词，每个词语就是一个token分词方法：转化为单个字（常见）切分词语N-gram：准... 查看详情
nlp——天池新闻文本分类task1(代码片段)
NLP——新闻文本处理：TASK1赛题理解与nlp初识1.数据读取在竞赛主页下载好数据集利用pandas打开：#coding=utf-8importpandasaspd#my_font=font_manager.FontProperties(fname="C:WindowsFontsmsyh.ttc")#设置显示范围pd.set_option(‘display.max_c 查看详情
bert实战：使用distilbert进行文本情感分类(代码片段)
...gface/transformersTransformers提供了数千个预训练的模型来执行文本任务，如100多种语 查看详情
keras实战教程二(文本分类bilstm)(代码片段)
什么是文本分类 给模型输入一句话，让模型判断这句话的类别（预定义）。以文本情感分类为例输入：的确是专业，用心做，出品方面都给好评。输出：2输出可以是[0,1,2]其中一个，0表示情感消极，1表示情感中性，2表... 查看详情
nlp新闻主题分类任务(代码片段)
【NLP】新闻主题分类任务前言1.构建带有Embedding层的文本分类模型2.对数据进行batch处理3.构建训练与验证函数4.进行模型训练和验证5.查看embedding层嵌入的词向量总结前言学习目标了解有关新闻主题分类和有关数据.掌握使用浅层... 查看详情
天池nlp文本分类新人赛task.1md(代码片段)
赛题解读:https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.6.6406111aIKCSLV&postId=118252赛题报名：https://tianchi.aliyun.com/competition/entrance/531810/introduction注意下提交时间和提交次数。第一阶段（7月 查看详情
基于朴素贝叶斯算法的情感分类(代码片段)
...分析（Subjectivityanalysis），它是对带有情感色彩的主观性文本进行分析、处 查看详情