关键词:
1. 数据准备:收集数据与读取
2. 数据预处理:处理数据
3. 训练集与测试集:将先验数据按一定比例进行拆分。
4. 提取数据特征,将文本解析为词向量 。
5. 训练模型:建立模型,用训练数据训练模型。即根据训练样本集,计算词项出现的概率P(xi|y),后得到各类下词汇出现概率的向量 。
6. 测试模型:用测试数据集评估模型预测的正确率。
混淆矩阵
准确率、精确率、召回率、F值
7. 预测一封新邮件的类别。
!pip install nltk import nltk from nltk.corpus import stopwords from nltk.stem import WordNetLemmatizer ##预处理 def preprocessing(text): #text=text.decode(‘utf-8‘) tokens=[word for sent in nltk.sent_tokenize(text) for word in nltk.word_tokenize(sent)] stops=stopwords.words(‘english‘) tokens=[token for token in token not in stops] tokens=[token.lower() for tokens in tokens if len(token)>=3] lmtzr= WordNetsLemmatize() tokens=[lmtzr.lemmatize(token) for token in tokens] preprocessed_text=‘‘.jion(tokens) return preprocessed_text ##读取数据集 import csv file_path = r"D:sms.txt" sms=open(file_path,‘r‘,encoding=‘utf-8‘) sms_data=[] sms_label=[] csv_reader=csv.reader(sms,delimiter=‘ ‘) for line in csv_reader: sms_label.append(line[0]) sms_data.append(line[1]) sms.close() from sklearn.model_selection import train_test_split x_train,x_test,y_train,y_test = train_test_split(sms_data,sms_label,test_size=0.3,random_state=0,stratify=sms_label) print(len(sms_data),len(x_train),len(x_test)) x_train
结果:
##将其向量化 from sklearn.feature_extraction.text import TfidfVectorizer vectorizer=TfidfVectorizer(min_df=2,ngram_range=(1,2),stop_words=‘english‘,strip_accents=‘unicode‘) X_train=vectorizer.fit_transform(x_train) X_test=vectorizer.transform(x_test) ##朴素贝叶斯分类器 from sklearn.naive_bayes import MultinomialNB clf=MultinomialNB().fit(X_train,y_train) y_nb_pred=clf.predict(X_test) ##分类结果显示 from sklearn.metrics import confusion_matrix from sklearn.metrics import classification_report print(y_nb_pred.shape,y_nb_pred) #x_test的预测结果 print(‘nb_confusion_matrix:‘) cm=confusion_matrix(y_test,y_nb_pred) #混淆矩阵 print(cm) print(‘nb_classification_report:‘) cr=classification_report(y_test,y_nb_pred) ##主要分类指标的文本报告 print(cr) feature_names=vectorizer.get_feature_names() ##出现过的单词列表 coefs=clf.coef_ ##先验概率P(x_i|y),6034 feature_log_prob_ intercept=clf.intercept ##P(y),class_log_prior_;array;shape(n_classes,)Smoothed empirical log probability for each class coefs_with_fns=sorted(zip(coefs[0],feature_name)) ##对数概率P(x_i|y)与单词x_i映射 n=10 top = zip(coefs_with_fns[:n],coefs_with_fns[:-(n+1):-1]) ##最大的10个与最小的10个单词 for (coef_1,fn_1),(coef_2,fn_2) in top: print(‘ %.4f %-15s %.4f %-15s‘%(coef_1,fn_1,coef_2,fn_2)) ##查看准确率、召回率、F值、精确率
结果:
##预测一封新邮件的类别。 new_email=[‘新邮件‘] vectorizer(new_email) clf.predict(new_email)
朴素贝叶斯应用:垃圾邮件分类(代码片段)
importnltkfromnltk.corpusimportstopwordsfromnltk.stemimportWordNetLemmatizer#预处理defpreprocessing(text):tokens=[wordforsentinnltk.sent_tokenize(text)forwordinnltk.word_tokenize(sent)]stops=stopwords.wo 查看详情
朴素贝叶斯应用:垃圾邮件分类(代码片段)
importnltknltk.download()fromnltk.corpusimportstopwordsfromnltk.stemimportWordNetLemmatizer#预处理defpreprocessing(text):tokens=[wordforsentinnltk.sent_tokenize(text)forwordinnltk.word_tokrnize(sen 查看详情
朴素贝叶斯应用:垃圾邮件分类(代码片段)
三、垃圾邮件分类数据准备:用csv读取邮件数据,分解出邮件类别及邮件内容。对邮件内容进行预处理:去掉长度小于3的词,去掉没有语义的词等尝试使用nltk库:pipinstallnltknltk.download不成功:就使用词频统计的处理方法训练集... 查看详情
朴素贝叶斯应用:垃圾邮件分类
importcsv#读数据file_path=r‘EmailData.txt‘EmailData=open(file_path,‘r‘,encoding=‘utf-8‘)Email_data=[]Email_target=[]csv_reader=csv.reader(EmailData,delimiter=‘ ‘)#将数据分别存入数据列表和目标分类列表forlineincsv_reader:E 查看详情
朴素贝叶斯应用:垃圾邮件分类(代码片段)
朴素贝叶斯应用:垃圾邮件分类 1.数据准备:收集数据与读取2.数据预处理:处理数据3.训练集与测试集:将先验数据按一定比例进行拆分。4.提取数据特征,将文本解析为词向量。5.训练模型:建立模型,用训练数据训练模... 查看详情
朴素贝叶斯应用:垃圾邮件分类(代码片段)
#读取数据集importcsvfile_path=r‘C:UsersAdministratorDesktop江南.txt‘sms=open(file_path,‘r‘,encoding=‘utf-8‘)text=csv.reader(sms,delimiter=‘ ‘)text#预处理defpreprocessing(text):#text=text.decode("utf-8")tok 查看详情
朴素贝叶斯应用:垃圾邮件分类
...确率、召回率、F值7.预测一封新邮件的类别。#要点#理解朴素贝叶斯 查看详情
利用朴素贝叶斯(naviebayes)进行垃圾邮件分类
...分类的样例来加深对于理论的理解。这里我们来解释一下朴素这个词的含义:1)各个特征是相互独立的,各个特征出现与其出现的顺序无关;2)各个特征地位同等重要;以上都是比較强的如果以下是朴素贝叶斯分类的流程:这... 查看详情
朴素贝叶斯应用:垃圾邮件分类
1.数据准备:收集数据与读取2.数据预处理:处理数据3.训练集与测试集:将先验数据按一定比例进行拆分。4.提取数据特征,将文本解析为词向量。5.训练模型:建立模型,用训练数据训练模型。即根据训练样本集,计算词项出... 查看详情
朴素贝叶斯应用:垃圾邮件分类
1.数据准备:收集数据与读取2.数据预处理:处理数据3.训练集与测试集:将先验数据按一定比例进行拆分。4.提取数据特征,将文本解析为词向量。5.训练模型:建立模型,用训练数据训练模型。即根据训练样本集,计算词项出... 查看详情
朴素贝叶斯应用:垃圾邮件分类(代码片段)
1.数据准备:收集数据与读取2.数据预处理:处理数据3.训练集与测试集:将先验数据按一定比例进行拆分。4.提取数据特征,将文本解析为词向量。5.训练模型:建立模型,用训练数据训练模型。即根据训练样本集,计算词项出... 查看详情
朴素贝叶斯-垃圾邮件分类
1.读邮件数据集文件,提取邮件本身与标签。列表numpy数组importcsvfile_path=r"SMSSpamCollection"sms=open(file_path,‘r‘,encoding=‘utf-8‘)data=csv.reader(sms,delimiter=" ")forrindata:print(r)sms.close()2.邮件预处理邮件分句名子分词去掉过短的单词词性还... 查看详情
朴素贝叶斯-垃圾邮件分类实现(代码片段)
1.前言《朴素贝叶斯算法(NaiveBayes)》,介绍了朴素贝叶斯原理。本文介绍的是朴素贝叶斯的基础实现,用来垃圾邮件分类。2.朴素贝叶斯基础实现朴素贝叶斯(naiveBayes)法是基于贝叶斯定理与特征条件独立假设的分类的方法。对... 查看详情
bayes朴素贝叶斯实现垃圾邮件分类
...25封正常邮件,随机产生了10组测试集和40组训练集,使用朴素贝叶斯方法实现了垃圾邮件的分类。 Bayes公式 遍历每篇文档向量,扫描所有文档的单词,合并集合去重,并生成最终的词汇表 # 创建词汇表#&n... 查看详情
朴素贝叶斯垃圾邮件过滤问题
】朴素贝叶斯垃圾邮件过滤问题【英文标题】:naivebayesianspamfilterquestion【发布时间】:2011-02-0618:14:45【问题描述】:我计划使用朴素贝叶斯分类模型实施垃圾邮件过滤器。在网上我看到了很多关于朴素贝叶斯分类的信息,但问... 查看详情
12.朴素贝叶斯-垃圾邮件分类
1.读邮件数据集文件,提取邮件本身与标签。列表numpy数组2.邮件预处理邮件分句句子分词大小写,标点符号,去掉过短的单词词性还原:复数、时态、比较级连接成字符串2.1传统方法来实现 2.2nltk库的安装与使用pipinstalln... 查看详情
如何在垃圾邮件过滤中嵌入带有朴素贝叶斯分类器的关联规则?
】如何在垃圾邮件过滤中嵌入带有朴素贝叶斯分类器的关联规则?【英文标题】:HowcanIembedAssosciationruleswithNaiveBayesclassifierinspamfiltering?【发布时间】:2017-07-0215:49:16【问题描述】:实际上,我正在研究用于过滤邮件的朴素贝叶斯... 查看详情
使用朴素贝叶斯分类器过滤垃圾邮件
1.从文本中构建词向量将每个文本用python分割成单词,构建成词向量,这里首先需要一个语料库,为了简化我们直接从所给文本中抽出所有出现的单词构成一个词库。2.利用词向量计算概率p(x|y)Whenweattempttoclassifyadocument,wemultiplyalot... 查看详情