正文

爬虫大作业(代码片段)

yinjinxiu  yinjinxiu  2022-11-07  258

关键词：

1.选一个自己感兴趣的主题（所有人不能雷同）。

因为我是河源的，所以我爬取的是河源市公交网络站点数据。

爬取的站点：http://heyuan.8684.cn/

2.用python 编写爬虫程序，从网络上爬取相关主题的数据。

（1）环境配置：

import requests  ##导入requests
from bs4 import BeautifulSoup  ##导入bs4中的BeautifulSoup
headers = 
    \'User-Agent\': \'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0\'
all_url =\'http://heyuan.8684.cn/\' ##开始的URL地址
start_html = requests.get(all_url, headers=headers)
#print(start_html.text)
Soup = BeautifulSoup(start_html.text, \'html.parser\')

（2）爬取站点分析：

a、河源市公交线路分类方式有3种：

b、我主要通过数字开头来进行爬取，打开网站，点击“1”，右击鼠标选择“检查”，可以发现保存在链接保存在<div class="bus_kt_r1">里面，故只需要提取div里的href即可：

代码：

all_1 = Soup.find(\'div\', class_=\'bus_kt_r1\').find_all(\'a\')#获取以数字开头所有路线

c、接着往下，发现每一路的链接都在<div id="con_site_1" class="site_list"> 的<a>里面，取出里面的herf即为线路网址，其内容即为线路名称。

代码：

href = a[\'href\']  # 取出a标签的href 属性
html = all_url + href
second_html = requests.get(html, headers=headers)
#print(second_html.text)
Soup2 = BeautifulSoup(second_html.text, \'html.parser\')
all_a2 = Soup2.find(\'div\', class_=\'stie_list\').find_all(\'a\')

　d、打开线路链接，就可以看到具体的站点信息了，打开页面分析文档结构后发现：线路的基本信息存放在<div class="bus_i_content">里面，而公交站点信息则存放在<div class="bus_line_top">及<div class="bus_line_site">里面。

提取代码：

title1 = a2.get_text()  # 取出a1标签的文本
        href1 = a2[\'href\']  # 取出a标签的href 属性
   # print(title1, href1)
        html_bus = all_url + href1  # 构建线路站点url
        thrid_html = requests.get(html_bus, headers=headers)
        Soup3 = BeautifulSoup(thrid_html.text, \'html.parser\')  # 以html.parser方式解析html
        bus_name = Soup3.find(\'div\', class_=\'bus_i_t1\').find(\'h1\').get_text()  # 提取线路名
        bus_type = Soup3.find(\'div\', class_=\'bus_i_t1\').find(\'a\').get_text()  # 提取线路属性
        bus_time = Soup3.find_all(\'p\', class_=\'bus_i_t4\')[0].get_text()  # 运行时间
        bus_cost = Soup3.find_all(\'p\', class_=\'bus_i_t4\')[1].get_text()  # 票价
        bus_company = Soup3.find_all(\'p\', class_=\'bus_i_t4\')[2].find(\'a\').get_text()  # 公交公司
        bus_update = Soup3.find_all(\'p\', class_=\'bus_i_t4\')[3].get_text()  # 更新时间
        bus_label = Soup3.find(\'div\', class_=\'bus_label\')
        if bus_label:
            bus_length = bus_label.get_text()  # 线路里程
        else:
            bus_length = []
        print(bus_name, bus_type, bus_time, bus_cost, bus_company, bus_update)
        all_line = Soup3.find_all(\'div\', class_=\'bus_line_top\')  # 线路简介
        all_site = Soup3.find_all(\'div\', class_=\'bus_line_site\')  # 公交站点
        line_x = all_line[0].find(\'div\', class_=\'bus_line_txt\').get_text()[:-9] + all_line[0].find_all(\'span\')[
            -1].get_text()
        sites_x = all_site[0].find_all(\'a\')
        sites_x_list = []  # 上行线路站点
        for site_x in sites_x:
            sites_x_list.append(site_x.get_text())
        line_num = len(all_line)
        if line_num == 2:  # 如果存在环线，也返回两个list，只是其中一个为空
            line_y = all_line[1].find(\'div\', class_=\'bus_line_txt\').get_text()[:-9] + all_line[1].find_all(\'span\')[
                -1].get_text()
            sites_y = all_site[1].find_all(\'a\')
            sites_y_list = []  # 下行线路站点
            for site_y in sites_y:
                sites_y_list.append(site_y.get_text())
        else:
            line_y, sites_y_list = [], []
        information = [bus_name, bus_type, bus_time, bus_cost, bus_company, bus_update, bus_length, line_x, sites_x_list,
                       line_y, sites_y_list]

e、自此，我们就把一条线路的相关信息及上、下行站点信息就都解析出来了。如果想要爬取全市的公交网络站点，只需要加入循环就可以了。

代码：

import requests  ##导入requests
from bs4 import BeautifulSoup  ##导入bs4中的BeautifulSoup

headers = 
    \'User-Agent\': \'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0\'
all_url =\'http://heyuan.8684.cn/\' ##开始的URL地址
start_html = requests.get(all_url, headers=headers)
#print(start_html.text)
Soup = BeautifulSoup(start_html.text, \'html.parser\')
all_1 = Soup.find(\'div\', class_=\'bus_kt_r1\').find_all(\'a\')#获取以数字开头所有路线
Network_list = []
for a in all_1:
    href = a[\'href\']  # 取出a标签的href 属性
    html = all_url + href
    second_html = requests.get(html, headers=headers)
    #print(second_html.text)
    Soup2 = BeautifulSoup(second_html.text, \'html.parser\')
    all_a2 = Soup2.find(\'div\', class_=\'stie_list\').find_all(\'a\')
    for a2 in all_a2:
        title1 = a2.get_text()  # 取出a1标签的文本
        href1 = a2[\'href\']  # 取出a标签的href 属性
   # print(title1, href1)
        html_bus = all_url + href1  # 构建线路站点url
        thrid_html = requests.get(html_bus, headers=headers)
        Soup3 = BeautifulSoup(thrid_html.text, \'html.parser\')  # 以html.parser方式解析html
        bus_name = Soup3.find(\'div\', class_=\'bus_i_t1\').find(\'h1\').get_text()  # 提取线路名
        bus_type = Soup3.find(\'div\', class_=\'bus_i_t1\').find(\'a\').get_text()  # 提取线路属性
        bus_time = Soup3.find_all(\'p\', class_=\'bus_i_t4\')[0].get_text()  # 运行时间
        bus_cost = Soup3.find_all(\'p\', class_=\'bus_i_t4\')[1].get_text()  # 票价
        bus_company = Soup3.find_all(\'p\', class_=\'bus_i_t4\')[2].find(\'a\').get_text()  # 公交公司
        bus_update = Soup3.find_all(\'p\', class_=\'bus_i_t4\')[3].get_text()  # 更新时间
        bus_label = Soup3.find(\'div\', class_=\'bus_label\')
        if bus_label:
            bus_length = bus_label.get_text()  # 线路里程
        else:
            bus_length = []
        print(bus_name, bus_type, bus_time, bus_cost, bus_company, bus_update)
        all_line = Soup3.find_all(\'div\', class_=\'bus_line_top\')  # 线路简介
        all_site = Soup3.find_all(\'div\', class_=\'bus_line_site\')  # 公交站点
        line_x = all_line[0].find(\'div\', class_=\'bus_line_txt\').get_text()[:-9] + all_line[0].find_all(\'span\')[
            -1].get_text()
        sites_x = all_site[0].find_all(\'a\')
        sites_x_list = []  # 上行线路站点
        for site_x in sites_x:
            sites_x_list.append(site_x.get_text())
        line_num = len(all_line)
        if line_num == 2:  # 如果存在环线，也返回两个list，只是其中一个为空
            line_y = all_line[1].find(\'div\', class_=\'bus_line_txt\').get_text()[:-9] + all_line[1].find_all(\'span\')[
                -1].get_text()
            sites_y = all_site[1].find_all(\'a\')
            sites_y_list = []  # 下行线路站点
            for site_y in sites_y:
                sites_y_list.append(site_y.get_text())
        else:
            line_y, sites_y_list = [], []
        information = [bus_name, bus_type, bus_time, bus_cost, bus_company, bus_update, bus_length, line_x, sites_x_list,
                       line_y, sites_y_list]
        Network_list.append(information)


# 定义保存函数，将运算结果保存为txt文件
def text_save(content, filename, mode=\'a\'):
    file = open(filename, mode, encoding=\'utf-8\')
    for i in range(len(content)):
        file.write(str(content[i]) + \'\\n\')
    file.close()

# 输出处理后的数据
text_save(Network_list, \'Network_bus.txt\')

3.对爬了的数据进行文本分析，生成词云。

（1）首先打开爬取的数据的文件，通过jieba分词进行分词并通过空格分隔，然后生成词云。

代码：

from PIL import Image, ImageSequence
import numpy as np
import matplotlib.pyplot as plt
from wordcloud import WordCloud, ImageColorGenerator
import jieba
# 读入背景图片
abel_mask = np.array(Image.open("./公交车.jpg"))

# 读取要生成词云的文件
path = open(\'Network_bus.txt\',encoding=\'utf-8\').read()

# 通过jieba分词进行分词并通过空格分隔
wordlist_after_jieba = jieba.cut(path, cut_all=True)
wl_space_split = " ".join(wordlist_after_jieba)
my_wordcloud = WordCloud().generate(wl_space_split)
my_wordcloud = WordCloud(
    background_color=\'white\',  # 设置背景颜色
    mask=abel_mask,  # 设置背景图片
    max_words=200,  # 设置最大现实的字数
    font_path=\'C:/Users/Windows/fonts/simkai.ttf\',
    max_font_size=50,
    random_state=30,  # 设置有多少种随机生成状态，即有多少种配色方案
    scale=.5,
).generate(wl_space_split)

# 根据图片生成词云颜色
image_colors = ImageColorGenerator(abel_mask)
# my_wordcloud.recolor(color_func=image_colors)

# 以下代码显示图片
plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()

4.对文本分析结果进行解释说明。

我的图片是：

文本获取到的字符信息并不是我们想要的效果，因此，为了达到我们想要的效果，我就将所获取到的文本信息，生成一个词云图，我们更加直观的观察到我们

5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。

遇到的问题：

1、开始无法安装wordcloud

解决办法：在网站https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud下载wordcloud-1.4.1-cp36-cp36m-win32.whl

然后在终端pip install wordcloud-1.4.1-cp36-cp36m-win32.whl

2、安装完wordcloud-1.4.1-cp36-cp36m-win32.whl 无法导入wordcloud

解决方法：通过网上查找我找到了如下的办法：：

打开项目选择file-->settings...-->project-projiect interpreter右边选择上方长条框，选择Show All...，接着选择System Interpreter就可以了

数据分析思想及结论：

我的数据分析是打开我爬取的数据文件，然后通过结巴进行分词，最后生成词云。

结论：在做大作业的过程中，通过遇到问题然后找到解决问题的方法，我对爬虫有了进一步的了解，同时，也能从中发现自己的不足就是：对通过结巴进行数据分析不熟练。

6.最后提交爬取的全部数据、爬虫及数据分析源代码。

全部代码：

import requests  ##导入requests
from bs4 import BeautifulSoup  ##导入bs4中的BeautifulSoup
from PIL import Image, ImageSequence
import numpy as np
import matplotlib.pyplot as plt
from wordcloud import WordCloud, ImageColorGenerator
import jieba

headers = 
    \'User-Agent\': \'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0\'
all_url =\'http://heyuan.8684.cn/\' ##开始的URL地址
start_html = requests.get(all_url, headers=headers)
#print(start_html.text)
Soup = BeautifulSoup(start_html.text, \'html.parser\')
all_1 = Soup.find(\'div\', class_=\'bus_kt_r1\').find_all(\'a\')#获取以数字开头所有路线
Network_list = []
for a in all_1:
    href = a[\'href\']  # 取出a标签的href 属性
    html = all_url + href
    second_html = requests.get(html, headers=headers)
    #print(second_html.text)
    Soup2 = BeautifulSoup(second_html.text, \'html.parser\')
    all_a2 = Soup2.find(\'div\', class_=\'stie_list\').find_all(\'a\')
    for a2 in all_a2:
        title1 = a2.get_text()  # 取出a1标签的文本
        href1 = a2[\'href\']  # 取出a标签的href 属性
   # print(title1, href1)
        html_bus = all_url + href1  # 构建线路站点url
        thrid_html = requests.get(html_bus, headers=headers)
        Soup3 = BeautifulSoup(thrid_html.text, \'html.parser\')  # 以html.parser方式解析html
        bus_name = Soup3.find(\'div\', class_=\'bus_i_t1\').find(\'h1\').get_text()  # 提取线路名
        bus_type = Soup3.find(\'div\', class_=\'bus_i_t1\').find(\'a\').get_text()  # 提取线路属性
        bus_time = Soup3.find_all(\'p\', class_=\'bus_i_t4\')[0].get_text()  # 运行时间
        bus_cost = Soup3.find_all(\'p\', class_=\'bus_i_t4\')[1].get_text()  # 票价
        bus_company = Soup3.find_all(\'p\', class_=\'bus_i_t4\')[2].find(\'a\').get_text()  # 公交公司
        bus_update = Soup3.find_all(\'p\', class_=\'bus_i_t4\')[3].get_text()  # 更新时间
        bus_label = Soup3.find(\'div\', class_=\'bus_label\')
        if bus_label:
            bus_length = bus_label.get_text()  # 线路里程
        else:
            bus_length = []
        print(bus_name, bus_type, bus_time, bus_cost, bus_company, bus_update)
        all_line = Soup3.find_all(\'div\', class_=\'bus_line_top\')  # 线路简介
        all_site = Soup3.find_all(\'div\', class_=\'bus_line_site\')  # 公交站点
        line_x = all_line[0].find(\'div\', class_=\'bus_line_txt\').get_text()[:-9] + all_line[0].find_all(\'span\')[
            -1].get_text()
        sites_x = all_site[0].find_all(\'a\')
        sites_x_list = []  # 上行线路站点
        for site_x in sites_x:
            sites_x_list.append(site_x.get_text())
        line_num = len(all_line)
        if line_num == 2:  # 如果存在环线，也返回两个list，只是其中一个为空
            line_y = all_line[1].find(\'div\', class_=\'bus_line_txt\').get_text()[:-9] + all_line[1].find_all(\'span\')[
                -1].get_text()
            sites_y = all_site[1].find_all(\'a\')
            sites_y_list = []  # 下行线路站点
            for site_y in sites_y:
                sites_y_list.append(site_y.get_text())
        else:
            line_y, sites_y_list = [], []
        information = [bus_name, bus_type, bus_time, bus_cost, bus_company, bus_update, bus_length, line_x, sites_x_list,
                       line_y, sites_y_list]
        Network_list.append(information)


# 定义保存函数，将运算结果保存为txt文件
def text_save(content, filename, mode=\'a\'):
    file = open(filename, mode, encoding=\'utf-8\')
    for i in range(len(content)):
        file.write(str(content[i]) + \'\\n\')
    file.close()

# 输出处理后的数据
text_save(Network_list, \'Network_bus.txt\')

# 读入背景图片
abel_mask = np.array(Image.open("./公交车.jpg"))

# 读取要生成词云的文件
path = open(\'Network_bus.txt\',encoding=\'utf-8\').read()

# 通过jieba分词进行分词并通过空格分隔
wordlist_after_jieba = jieba.cut(path, cut_all=True)
wl_space_split = " ".join(wordlist_after_jieba)
my_wordcloud = WordCloud().generate(wl_space_split)
my_wordcloud = WordCloud(
    background_color=\'white\',  # 设置背景颜色
    mask=abel_mask,  # 设置背景图片
    max_words=200,  # 设置最大现实的字数
    font_path=\'C:/Users/Windows/fonts/simkai.ttf\',
    max_font_size=50,
    random_state=30,  # 设置有多少种随机生成状态，即有多少种配色方案
    scale=.5,
).generate(wl_space_split)

# 根据图片生成词云颜色
image_colors = ImageColorGenerator(abel_mask)
# my_wordcloud.recolor(color_func=image_colors)

# 以下代码显示图片
plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()

爬虫大作业(代码片段)

importjieba.analysefromPILimportImage,ImageSequenceimportnumpyasnpimportmatplotlib.pyplotaspltfromwordcloudimportWordCloud,ImageColorGeneratorimportrequestsfromurllibimportparsefrombs4importBeau 查看详情

爬虫大作业(代码片段)

importrequestsimportrefrombs4importBeautifulSoupimportjieba.analysefromPILimportImage,ImageSequenceimportnumpyasnpimportmatplotlib.pyplotaspltfromwordcloudimportWordCloud,ImageColorGenerator#获取总页数defg 查看详情

爬虫大作业(代码片段)

1.主题爬取小说网站的《全职高手》小说第一章 2.代码导入包importrandomimportrequestsimportreimportmatplotlib.pyplotaspltfromwordcloudimportWordCloud,ImageColorGenerator,STOPWORDSimportjiebaimportnumpyasnpfromPILimport 查看详情

爬虫大作业(代码片段)

#-*-coding:utf-8-*-#第三方库importscrapyfromscrapy.spidersimportSpiderfromlxmlimportetreeimportreimportjiebafromBoKeYuan.itemsimportBokeyuanItemclassBlogYuanSpider(Spider):name=‘blog_yuan‘start_urls=[‘htt 查看详情

爬虫大作业(代码片段)

词云生成importjiebaimportPILfromwordcloudimportWordCloudimportmatplotlib.pyplotaspimportosinfo=open(‘wmh.txt‘,‘r‘,encoding=‘utf-8‘).read()text=‘‘text+=‘‘.join(jieba.lcut(info))wc=WordCloud(font_path=‘./fo 查看详情

爬虫大作业(代码片段)

代码：#encoding=utf-8importreimportrequestsimporturllib2importdatetimeimportMySQLdbfrombs4importBeautifulSoupimportsysreload(sys)sys.setdefaultencoding("utf-8")classSplider(object):def__init__(self):prin 查看详情

爬虫大作业(代码片段)

importrequests,re,jiebafrombs4importBeautifulSoupfromdatetimeimportdatetime#获取新闻细节defgetNewsDetail(newsUrl):resd=requests.get(newsUrl)resd.encoding=‘gb2312‘soupd=BeautifulSoup(resd.text,‘html.parser‘) 查看详情

爬虫大作业(代码片段)

1.爬取豆瓣电影top250。(所有同学不能雷同)2.用python编写爬虫程序，从网络上爬取相关主题的数据。importrequestsfrombs4importBeautifulSoupfromdatetimeimportdatetimeimportreimportpandas#电影简介保存到txt。defwriteNewsDetail(content):f=open(‘wzh.txt‘,‘a 查看详情

爬虫大作业(代码片段)

用python编写爬虫程序，从网络上爬取相关主题的数据importrequestsfrombs4importBeautifulSoupasbsdefgetreq(url):header=‘user-agent‘:‘Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/59.0.3071.115Safar 查看详情

爬虫大作业(代码片段)

对豆瓣读书网进行书评书单推荐简介和推荐链接数据爬取：　　frombs4importBeautifulSoupimportrequestsimportjiebaimporttimeimportdatetimer=requests.get(‘https://book.douban.com‘)lyrics=‘‘html=r.textsoup=BeautifulSoup(html,‘html.parser 查看详情

爬虫大作业(代码片段)

通过爬游侠网的游戏资讯页面，获取新闻标题和作者，并对作者进行统计，网站http://www.ali213.net/news/game/首先是要对网站发送请求下面是我的代码fromurllib.parseimportquoteimportstringclassHtmlDownloader(object):defdownload(self,url):ifurlisNone:returnNo... 查看详情

爬虫大作业(代码片段)

...能雷同)我选了附近松田学校的校园网来爬取2.用python编写爬虫程序，从网络上爬取相关主题的数据。#-*-coding:utf-8-*-importrequestsfrombs4importBeautifulSoupasbsdefgettext(url):header=‘user-agent‘:‘Mozilla/5.0(WindowsNT10.0; 查看详情

爬虫大作业(代码片段)

defget_content_info(content_url):res=requests.get(content_url)res.encoding=‘gbk‘soup=BeautifulSoup(res.text,‘html.parser‘)returnsoup.select(‘#endText‘)[0].textdefget_page_info(page_url):res=requests.g 查看详情

爬虫大作业(代码片段)

...点数据。爬取的站点：http://heyuan.8684.cn/ 2.用python编写爬虫程序，从网络上爬取相关主题的数据。（1）环境配置：importrequests##导入requestsfrombs4importBeautifulSoup##导入bs4中的BeautifulSouphead 查看详情

爬虫大作业(代码片段)

...，与校园新闻版面类似，爬去50页 2.用python编写爬虫程序，从网络上爬取相关主题的数据。利用所学知识，导入要用的类importrequestsfrombs4importBeautifulSoupimportjieba审查元素，获取网页内容 3.对爬了的数据进行查看详情

爬虫大作业(代码片段)

打开酷我新歌排行榜，网址是http://www.kuwo.cn/bang/index 代码：用requests库和BeautifulSoup库，爬取酷我新歌榜当前页面的每首的曲目、作者、歌词、排行、链接等，将获取歌曲详情的代码定义成一个函数 musicUrl=‘http://... 查看详情

爬虫大作业(代码片段)

...也想比较下标题党还是和实际内容的差异。2.用python编写爬虫程序，从网络上爬取相关主题的数据。3.对爬了的数据进行文本分析，生成词云。4.对文本分析结果进行解释说明。5.写一篇完整的博客，描述上述实现过程、遇到的问... 查看详情

python大作业——爬虫+可视化+数据分析+数据库（可视化篇）(代码片段)

相关链接Python大作业——爬虫+可视化+数据分析+数据库（简介篇）Python大作业——爬虫+可视化+数据分析+数据库（爬虫篇）Python大作业——爬虫+可视化+数据分析+数据库（数据分析... 查看详情