关键词：
作者：炼己者
欢迎大家访问 我的简书 以及 我的博客
本博客所有内容以学习、研究和分享为主，如需转载，请联系本人，标明作者和出处，并且是非商业用途，谢谢！
摘要：本文主要讲述了用半监督算法做文本分类(二分类)，主要借鉴了sklearn的一个例子——用半监督算法做数字识别 。先说结论，这是一个失败的例子，训练到第15000条就不行了，就报错了。如果你的数据量不是很大的话，可以操作一下。这里面有很多值得学习的地方，尤其是关于文本的预处理。后续还会更新，把这条路打通。
一. 操作流程
- 一共100万条数据，标注7000条，剩下的全部标注为-1
- 对文本进行预处理(jieba分词，去掉停用词等操作)
- 用gensim库将处理好的文本转为TFIDF向量
- 利用scipy库转换TFIDF向量的格式，使其可以被sklearn库的算法包训练
- 把预处理的数据输入到模型中进行训练
- 得到前500个不确定的数据，对其进行人工标注，然后再添加回训练集
- 重复以上过程，直到你的分类器变得好，符合你的要求
二. 正文
前面的jieba分词，去停用词的操作我就赘述了，比较容易。在这里就分享一下怎么把gensim训练的TFIDF向量转为sklearn库算法包所要求的格式吧。
说到这里，大家肯定会问，干啥这么麻烦，直接调用sklearn计算TFIDF不就完了。原因很简单，一开始我也是这么干的，然后报了内存错误，当时我猜测是因为向量的维度太大了，因为sklearn计算出来的TFIDF向量每句话的维度达到了30000多维，所以我打算借用gensim来训练TFIDF向量，它有个好处，就是可以指定维度的大小。
那么如何计算TFIDF向量呢？
大家也可以看这篇文章——用不同的方法计算TFIDF值
1. 用gensim训练TFIDF向量，并且保存起来，省的你下次用的时候还要再跑一遍代码
from gensim import corpora
dictionary = corpora.Dictionary(word_list)
new_corpus = [dictionary.doc2bow(text) for text in word_list]
from gensim import models
tfidf = models.TfidfModel(new_corpus)
tfidf.save(‘my_model.tfidf‘)
2.载入模型,训练你的数据，得到TFIDF向量
tfidf = models.TfidfModel.load(‘my_model.tfidf‘)
tfidf_vec = []
for i in range(len(words)):
string = words[i]
string_bow = dictionary.doc2bow(string.split())
string_tfidf = tfidf[string_bow]
tfidf_vec.append(string_tfidf)此时得到的TFIDF向量是这样的
- 元组的形式——(数据的id，TFIDF向量)
- 这样的格式sklearn的算法包是无法训练的，怎么办？
[[(0, 0.44219328927835233),
(1, 0.5488488134902755),
(2, 0.28062764931589196),
(3, 0.5488488134902755),
(4, 0.3510600763648036)],
[(5, 0.2952063480959091),
(6, 0.3085138762011414),
(7, 0.269806482343891),
(8, 0.21686460370108193),
(9, 0.4621642239026475),
(10, 0.5515758504022944),
(11, 0.4242816486479956)],
......]3.利用lsi模型指定维度
lsi_model = models.LsiModel(corpus = tfidf_vec,id2word = dictionary,num_topics=2)
lsi_vec = []
for i in range(len(words)):
string = words[i]
string_bow = dictionary.doc2bow(string.split())
string_lsi = lsi_model[string_bow]
lsi_vec.append(string_lsi)此时的TFIDF向量是这样的
[[(0, 9.98164139346566e-06), (1, 0.00017488533996265734)],
[(0, 0.004624808817003378), (1, 0.0052712355563472625)],
[(0, 0.005992863818284904), (1, 0.0028891269605347066)],
[(0, 0.008813713819377964), (1, 0.004300294830187425)],
[(0, 0.0010709978891676652), (1, 0.004264312831567625)],
[(0, 0.005647948200006063), (1, 0.005816420698368305)],
[(0, 1.1749284917071102e-05), (1, 0.0003525210498926822)],
[(0, 0.05046596444596279), (1, 0.03750969796637345)],
[(0, 0.0007876011346475033), (1, 0.008538972615602887)],
......]4.通过scipy模块将数据处理为sklearn可训练的格式
from scipy.sparse import csr_matrix
data = []
rows = []
cols = []
line_count = 0
for line in lsi_vec:
for elem in line:
rows.append(line_count)
cols.append(elem[0])
data.append(elem[1])
line_count += 1
lsi_sparse_matrix = csr_matrix((data,(rows,cols))) # 稀疏向量
lsi_matrix = lsi_sparse_matrix.toarray() # 密集向量lsi_matrix如下所示
- 这便是符合sklearn的格式要求了
Out[53]:
array([[9.98164139e-06, 1.74885340e-04],
[4.62480882e-03, 5.27123556e-03],
[5.99286382e-03, 2.88912696e-03],
...,
[1.85861559e-02, 3.24888917e-01],
[8.07737902e-04, 5.45659458e-03],
[2.61926460e-03, 2.30210522e-02]])5.调用sklearn的半监督算法对数据进行训练
- 通过以下代码便可以得到前2000条标签最不确定的数据的索引，然后根据索引找到对应的数据，就可以对其重新人工标注了
- 把标好的数据再加回去，循环往复，直到你满意为止
- 当然这里面你得自己标注1000条数据，然后再把它们赋值为-1，假装不知道，等训练完，得到预测的结果，再与你自己标注的真实值进行比对计算，就可以知道效果的好坏了
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
from sklearn.semi_supervised import label_propagation
y = list(result.label.values)
from scipy.sparse.csgraph import *
n_total_samples = len(y) # 1571794
n_labeled_points = 7804 # 标注好的数据共10条，只训练10个带标签的数据模型
unlabeled_indices = np.arange(n_total_samples)[n_labeled_points:] # 未标注的数据
lp_model = label_propagation.LabelSpreading() # 训练模型
lp_model.fit(lsi_matrix,y)
predicted_labels = lp_model.transduction_[unlabeled_indices] # 预测的标签
# 计算被转换的标签的分布的熵
# lp_model.label_distributions_ : array,shape=[n_samples,n_classes]
# Categorical distribution for each item
pred_entropies = stats.distributions.entropy(
lp_model.label_distributions_.T)
# 选择分类器最不确定的前2000位数字的索引
uncertainty_index = np.argsort(pred_entropies)[::1]
uncertainty_index = uncertainty_index[
np.in1d(uncertainty_index,unlabeled_indices)][:2000]
print(uncertainty_index)三. 结果与讨论
我最后没有继续往下做了，因为我的数据量很大，只能训练这么点数据没有意义，以上便是我的思路，希望会对大家有所帮助，后续我会更新新的方法来操作这个事情
基于协同训练的半监督文本分类算法
半监督学习文本分类系列用半监督算法做文本分类(sklearn)sklearn半监督学习(sklearn)基于自训练的半监督文本分类算法一.摘要本文主要讲述基于协同训练的半监督算法做文本分类，用三个差异性比较大的分类器对未标注数据进行标... 查看详情
分类与监督学习，朴素贝叶斯分类算法(代码片段)
1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别。聚类：是指事先没有“标签”而通过某种成团分析找出事物之间存在聚集性原因的过程。分类：是根据文本的特征或属性，划分到已有的类别中。也就... 查看详情
分类与监督学习，朴素贝叶斯分类算法(代码片段)
1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别。简述什么是监督学习与无监督学习。 2.朴素贝叶斯分类算法实例利用关于心脏情患者的临床数据集，建立朴素贝叶斯分类模型。有六个分类变量(分... 查看详情
机器学习11-分类与监督学习，朴素贝叶斯分类算法(代码片段)
1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别。简述什么是监督学习与无监督学习。分类与聚类的区别：是否有已知分类的条件。分类没有，聚类有。监督学习：已知某些类别的情况下，即具有事先... 查看详情
分类与监督学习，朴素贝叶斯分类算法(代码片段)
#1.理解分类与监督学习、聚类与无监督学习。#简述分类与聚类的联系与区别。分类是事先定义好类别，类别数不变，分类也可以称作分类器，把数据库中的数据项映射到给定类别中的某一类中。聚类是指根据“物以类聚”的原... 查看详情
11.分类与监督学习，朴素贝叶斯分类算法(代码片段)
1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别。答：①联系：分类和聚类都包含一个过程：对于想要分析的目标点，都会在数据集中寻找离它最近的点，即二者都用到了NN（NearsNeighbor）算法。 ②... 查看详情
10.分类与监督学习，朴素贝叶斯分类算法(代码片段)
1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别。简述什么是监督学习与无监督学习。 联系：分类与聚类都是在数据集中寻找离自己最近的点 区别：分类是一种有监督学习，目的是为了确定点... 查看详情
分类与监督学习，朴素贝叶斯分类算法(代码片段)
#1.理解分类与监督学习、聚类与无监督学习。#简述分类与聚类的联系与区别。#分类：给数据“贴标签”,提高认知效率,降低认知成本,对于分类来说，在对数据集分类时，我们是知道这个数据集是有多少种类的#聚类：聚类是将数... 查看详情
11.分类与监督学习，朴素贝叶斯分类算法(代码片段)
1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别。简述什么是监督学习与无监督学习。 分类：根据一些给定的已知类别标号的样本，训练某种学习机器（即得到某种目标函数），使它能够对未知类... 查看详情
11.分类与监督学习，朴素贝叶斯分类算法(代码片段)
1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别。简述什么是监督学习与无监督学习。答：（1）分类和聚类： 联系： 分类和聚类都是把每一条记录归应到相应的类别里，都包含这一过程，... 查看详情
11.分类与监督学习，朴素贝叶斯分类算法(代码片段)
1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别。简述什么是监督学习与无监督学习。 分类的目的是为了确定一个点的类别，具体有哪些类别是已知的，而聚类的目的是将一系列的点分成若干类，... 查看详情
第十次11.分类与监督学习，朴素贝叶斯分类算法(代码片段)
1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别。区别：分类的目的是为确定一个点的类别，具体有哪些类别是已知的，常用算法是KNN，是一种有监督学习。聚类的目的是将一系列点分为若干类，事先... 查看详情
分类与监督学习，朴素贝叶斯分类算法(代码片段)
...息相似度原则进行信息聚类的一种方法。 简述什么是监督学习与无监督学习。监督式学习，能够由训练资料中学到或建立一个模式，并依此模式猜測新的实例。无监督式学习，其目的是去对原始资料进行分类，以便了解资料... 查看详情
分类与监督学习，朴素贝叶斯分类算法(代码片段)
1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别。联系：按照某种标准给对象贴标签，再根据标签来区分归类。分类：相当于给数据贴标签，根据标签可以提高对数据认知的效率，降低认知成本。聚类... 查看详情
分类与监督学习，朴素贝叶斯分类算法(代码片段)
1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别？分类与聚类：是把某个对象划分到某个具体的已经定义的类别当中，而聚类是把一些对象按照具体特征组织到若干个类别里。 &nbs... 查看详情
分类与监督学习，朴素贝叶斯分类算法(代码片段)
1.理解分类与监督学习、聚类与无监督学习。（1）简述分类与聚类的联系与区别。联系：①聚类分析是研究如何在没有训练的条件下把样本划分为若干类。②在分类中，对于目标数据库中存在哪些类是知道的，要做的就是将每一... 查看详情
分类与监督学习，朴素贝叶斯分类算法(代码片段)
fromsklearn.datasetsimportload_irisiris=load_iris()print(iris)def_init_(self): self._x=self.y=None self._data=self.func=None self._n_possibilities=None self._lableled_x=self.lable_zip=None self._cat_c 查看详情
10.分类与监督学习，朴素贝叶斯分类算法(代码片段)
1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别。简述什么是监督学习与无监督学习。 联系：分类与聚类都是在数据集中寻找离自己最近的点 区别：分类是一种有监督学习，目的是为了确定点... 查看详情