爬取360影视排行榜-总榜(代码片段)

import requests
from bs4 import BeautifulSoup
import bs4
import pandas as pd  
from pandas import DataFrame
url = ‘https://www.360kan.com/rank/general‘
# 爬虫请求头信息
headers = 
        ‘User-Agent‘: ‘Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50‘,
    
#定义函数获取并检测页面信息
def Text(url):
    try:
        respone = requests.get(url,headers=headers,timeout=30)
        respone.raise_for_status() 
        #解决中文字符编码问题
        respone.encoding = respone.apparent_encoding
        return respone.text
    except:
        return ""
html = Text(url)
#使用BeautifulSoup解析页面信息
soup = BeautifulSoup(html, "html.parser")
#开始获取作品名称信息
mingzi = soup.find_all(‘p‘,class_ = ‘m-title‘)
name = []
for x in mingzi:
    name.append(x.string) #使用列表方式 添加信息
#获取作品昨日指数信息
zhi = soup.find_all("li",class_=‘m-item-playcount‘)
zhishu = []
for y in zhi:
    zhishu.append(y.span.string)
#使用中文字符的空格填充
print("		:^40".format("排名","作品名称","昨日指数",chr(12288))) 
#构建填充文件信息所需要的列表
xingxi = []
#用range函数获取前15个数据
for i in range(15):
    print("		:^40".format(i+1, name[i], zhishu[i],chr(12288)))
    xingxi.append([i+1, name[i], zhishu[i]])
#生成csv文件 
df= pd.DataFrame(xingxi,columns = [‘排名‘,‘作品内容‘,‘昨日指数‘])
df.to_csv(‘yingshi.csv‘)

#输出信息检验文件是否成功生成
df = pd.DataFrame(pd.read_csv(‘yingshi.csv‘))
print(df)

# 删除无效列
df.drop(‘作品内容‘, axis = 1, inplace=True)
df.head()

# 查找重复值
df.duplicated()

# 删除重复值
df = df.drop_duplicates()
df.head()

# 统计昨日指数和排名的空值的个数
df[‘昨日指数‘].isnull().value_counts()
df[‘排名‘].isnull().value_counts()

#使用describe查看统计信息
df.describe()

#数据分析
from sklearn.linear_model import LinearRegression
X = df.drop("昨日指数",axis=1)
predict_model = LinearRegression()
predict_model.fit(X,df[‘排名‘])
print("回归系数为:",predict_model.coef_)

# 绘制柱状图
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams[‘font.sans-serif‘]=[‘SimHei‘] #用来正常显示中文标签
plt.bar(df.排名, df.昨日指数, color=‘purple‘,alpha=0.3)
plt.xlabel("排名")
plt.ylabel("昨日指数")
plt.title(‘排名与昨日指数数据柱状图‘)
plt.show()

#绘制折线图
plt.rcParams[‘font.sans-serif‘]=[‘SimHei‘] #用来正常显示中文标签
plt.plot(df.排名, df.昨日指数, color=‘purple‘,alpha=0.3)
plt.xlabel("排名")
plt.ylabel("昨日指数")
plt.title(‘排名与昨日指数数据柱状图‘)
plt.show()

#绘制散点图
import matplotlib.pyplot as plt
plt.rcParams[‘font.sans-serif‘]=[‘SimHei‘] #用于正常显示中文标签
#设置散点大小 便于数据观察
size =25
plt.scatter(df.排名,df.昨日指数,size, color="purple",alpha=0.5, marker=‘o‘)#设置透明度
plt.title("排名与昨日指数散点图")

#绘制盒图
import seaborn as sns
def box():
    plt.title(‘昨日指数盒图‘)
    sns.boxplot(x=‘排名‘,y=‘昨日指数‘, data=df)
box()

#绘制直方图
#设置画布大小
plt.figure(dpi=100)
zhishu = df.昨日指数
paiming = df.排名
plt.bar(zhishu,paiming,color=‘purple‘)
plt.title("昨日指数直方图")
plt.xlabel("排名")
plt.ylabel("昨日指数")
plt.show()

#绘制分布图
#设置间距大小
data = ‘a‘: 10, ‘b‘: 15, ‘c‘: 5, ‘d‘: 20
names = df.昨日指数
values = df.排名
fig, axs = plt.subplots(1, 3, figsize=(9, 3), sharey=True)
axs[0].bar(names, values)
axs[1].scatter(names, values)
axs[2].plot(names, values)
fig.suptitle(‘Categorical Plotting‘)

import matplotlib.pyplot as plt
from scipy.optimize import leastsq
import numpy as np
#建立排名与昨日指数的回归方程进行回归分析
#一元一次回归散点图
X= df.排名
Y = df.昨日指数
#生成一元一次方程
def func(p,x):
    k, b = p
    return k * x + b
def error(p,x,y):
    return func(p,x)-y
#定义一个主函数 
def main():
    plt.figure(figsize=(10,6))
    p0 = [0,0]
    Para = leastsq(error,p0,args=(X,Y))
    k, b = Para[0]
    plt.scatter(X,Y,color="blue",linewidth=2)
    x=np.linspace(0,20,20)
    y=k * x + b
    plt.plot(x,y,color="blue",linewidth=2,)
    plt.title("昨日指数值分布")
    plt.grid()
    plt.show()
print(main())

import requests
from bs4 import BeautifulSoup
import bs4
import pandas as pd  

from pandas import DataFrame
url = ‘https://www.360kan.com/rank/general‘
# 爬虫请求头信息
headers = 
        ‘User-Agent‘: ‘Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50‘,
    
#定义函数获取并检测页面信息
def Text(url):
    try:
        respone = requests.get(url,headers=headers,timeout=30)
        respone.raise_for_status() 
        #解决中文字符编码问题
        respone.encoding = respone.apparent_encoding
        return respone.text
    except:
        return ""
html = Text(url)
#使用BeautifulSoup解析页面信息
soup = BeautifulSoup(html, "html.parser")
#开始获取作品名称信息
mingzi = soup.find_all(‘p‘,class_ = ‘m-title‘)
name = []
for x in mingzi:
    name.append(x.string) #使用列表方式 添加信息
#获取作品昨日指数信息
zhi = soup.find_all("li",class_=‘m-item-playcount‘)
zhishu = []
for y in zhi:
    zhishu.append(y.span.string)
#使用中文字符的空格填充
print("		:^40".format("排名","作品名称","昨日指数",chr(12288))) 
#构建填充文件信息所需要的列表
xingxi = []
#用range函数获取前15个数据
for i in range(15):
    print("		:^40".format(i+1, name[i], zhishu[i],chr(12288)))
    xingxi.append([i+1, name[i], zhishu[i]])
#生成csv文件 
df= pd.DataFrame(xingxi,columns = [‘排名‘,‘作品内容‘,‘昨日指数‘])
df.to_csv(‘yingshi.csv‘)


#输出信息检验文件是否成功生成
df = pd.DataFrame(pd.read_csv(‘yingshi.csv‘))
print(df)


# 删除无效列
df.drop(‘作品内容‘, axis = 1, inplace=True)
df.head()


# 查找重复值
df.duplicated()


# 删除重复值
df = df.drop_duplicates()
df.head()


# 统计昨日指数和排名的空值的个数
df[‘昨日指数‘].isnull().value_counts()
df[‘排名‘].isnull().value_counts()


#使用describe查看统计信息
df.describe()


#数据分析
from sklearn.linear_model import LinearRegression
X = df.drop("昨日指数",axis=1)
predict_model = LinearRegression()
predict_model.fit(X,df[‘排名‘])
print("回归系数为:",predict_model.coef_)


# 绘制柱状图
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams[‘font.sans-serif‘]=[‘SimHei‘] #用来正常显示中文标签
plt.bar(df.排名, df.昨日指数, color=‘purple‘,alpha=0.3)
plt.xlabel("排名")
plt.ylabel("昨日指数")
plt.title(‘排名与昨日指数数据柱状图‘)
plt.show()


#绘制折线图
plt.rcParams[‘font.sans-serif‘]=[‘SimHei‘] #用来正常显示中文标签
plt.plot(df.排名, df.昨日指数, color=‘purple‘,alpha=0.3)
plt.xlabel("排名")
plt.ylabel("昨日指数")
plt.title(‘排名与昨日指数数据柱状图‘)
plt.show()


#绘制散点图
import matplotlib.pyplot as plt
plt.rcParams[‘font.sans-serif‘]=[‘SimHei‘] #用于正常显示中文标签
#设置散点大小 便于数据观察
size =25
plt.scatter(df.排名,df.昨日指数,size, color="purple",alpha=0.5, marker=‘o‘)#设置透明度
plt.title("排名与昨日指数散点图")


#绘制盒图
import seaborn as sns
def box():
    plt.title(‘昨日指数盒图‘)
    sns.boxplot(x=‘排名‘,y=‘昨日指数‘, data=df)
box()


#绘制直方图
#设置画布大小
plt.figure(dpi=100)
zhishu = df.昨日指数
paiming = df.排名
plt.bar(zhishu,paiming,color=‘purple‘)
plt.title("昨日指数直方图")
plt.xlabel("排名")
plt.ylabel("昨日指数")
plt.show()


#绘制分布图
#设置间距大小
data = ‘a‘: 10, ‘b‘: 15, ‘c‘: 5, ‘d‘: 20
names = df.昨日指数
values = df.排名
fig, axs = plt.subplots(1, 3, figsize=(9, 3), sharey=True)
axs[0].bar(names, values)
axs[1].scatter(names, values)
axs[2].plot(names, values)
fig.suptitle(‘Categorical Plotting‘)


import matplotlib.pyplot as plt
from scipy.optimize import leastsq
import numpy as np

#建立排名与昨日指数的回归方程进行回归分析
#一元一次回归散点图
X= df.排名
Y = df.昨日指数
#生成一元一次方程
def func(p,x):
    k, b = p
    return k * x + b
def error(p,x,y):
    return func(p,x)-y
#定义一个主函数 
def main():
    plt.figure(figsize=(10,6))
    p0 = [0,0]
    Para = leastsq(error,p0,args=(X,Y))
    k, b = Para[0]
    plt.scatter(X,Y,color="blue",linewidth=2)
    x=np.linspace(0,20,20)
    y=k * x + b
    plt.plot(x,y,color="blue",linewidth=2,)
    plt.title("昨日指数值分布")
    plt.grid()
    plt.show()
print(main())