关键词：
what's the 爬虫？
了解爬虫之前，我们首先要知道什么是互联网
1、什么是互联网？
互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，总体上像一张网一样。
2、互联网建立的目的？
互联网的核心价值在于数据的共享和传递：数据是存放于一台台计算机上的，而将计算机互联到一起的目的就是为了能够方便彼此之间的数据共享/传递，否则你只能拿U盘去别人的计算机上拷贝数据了。
3、什么是上网？爬虫要做的是什么？
我们所谓的上网便是由用户端计算机发送请求给目标计算机，将目标计算机的数据下载到本地的过程。
只不过，用户获取网络数据的方式是： 浏览器提交请求->下载网页代码->解析/渲染成页面。
而爬虫程序要做的就是： 模拟浏览器发送请求->下载网页代码->只提取有用的数据->存放于数据库或文件中
区别在于:我们的爬虫程序只提取网页代码中对我们有用的数据
4、总结爬虫
如果我们把互联网比作一张大的蜘蛛网，那一台计算机上的数据便是蜘蛛网上的一个猎物，而爬虫程序就是一只小蜘蛛，沿着蜘蛛网抓取自己想要的猎物/数据，这就是爬虫。
爬虫的定义：向网站发起请求，获取资源后分析并提取有用数据的程序
爬虫的价值：互联网中最有价值的便是数据，比如天猫商城的商品信息，链家网的租房信息，雪球网的证券投资信息等等，这些数据都代表了各个行业的真金白银，可以说，谁掌握了行业内的第一手数据，谁就成了整个行业的主宰，如果把整个互联网的数据比喻为一座宝藏，那我们的爬虫课程就是来教大家如何来高效地挖掘这些宝藏，掌握了爬虫技能，你就成了所有互联网信息公司幕后的老板，换言之，它们都在免费为你提供有价值的数据。
爬虫的基本流程
1、发起请求
使用http库向目标站点发起请求，即发送一个Request
Request包含：请求头、请求体等
2、获取响应内容
如果服务器能正常响应，则会得到一个Response
Response包含：html，json，图片，视频等
3、解析内容
解析html数据：可以利用正则表达式，第三方解析库如Beautifulsoup，pyquery等
解析json数据：json模块
解析二进制数据:以b的方式写入文件（图片和视频）
4、保存数据
数据库、文件
请求与相应
http协议：参考博客——http://www.cnblogs.com/linhaifeng/articles/8243379.html
Request：用户将自己的信息通过浏览器（socket client）发送给服务器（socket server）
Response：服务器接收请求，分析用户发来的请求信息，然后返回数据（返回的数据中可能包含其他链接，如：图片，js，css等）
ps：浏览器在接收Response后，会解析其内容来显示给用户，而爬虫程序在模拟浏览器发送请求然后接收Response后，是要提取其中的有用数据。
请求Request
1、请求方式：
常用的请求方式：GET，POST
其他请求方式（基本不用）：HEAD，PUT，DELETE，OPTHONS
post与get请求最终都会在url上拼接成这种形式：k1=xxx&k2=yyy&k3=zzz
post请求的参数放在请求体内，可用浏览器查看，存放于form data内
get请求的参数直接放在url的?后
2、请求url
url全称统一资源定位符，如一个网页文档，一张图片，一个视频等都可以用url唯一来确定
url编码：https://www.baidu.com/s?wd=图片（这时的图片会被编码）
网页的加载过程是：加载一个网页，通常都是先加载document文档，在解析document文档的时候，遇到链接，则针对超链接发起下载图片的请求
3、请求头
User-agent：请求头中如果没有user-agent客户端配置，服务端可能将你当做一个非法用户
host
cookies：cookie用来保存登录信息
注：一般做爬虫都会加上请求头
4、请求体
如果是get方式，请求体没有内容
如果是post方式，请求体是format data
ps：
1、登录窗口，文件上传等，信息都会被附加到请求体内
2、登录，输入错误的用户名密码，然后提交，就可以看到post，正确登录后页面通常会跳转，无法捕捉到post
响应Response
1、主要的响应状态
状态代码有三位数字组成，第一个数字定义了响应的类别，共分五种类别: 1xx：指示信息--表示请求已接收，继续处理 2xx：成功--表示请求已被成功接收、理解、接受 3xx：重定向--要完成请求必须进行更进一步的操作 4xx：客户端错误--请求有语法错误或请求无法实现 5xx：服务器端错误--服务器未能实现合法的请求 常见状态码： 200 OK #客户端请求成功 400 Bad Request #客户端请求有语法错误，不能被服务器所理解 401 Unauthorized #请求未经授权，这个状态代码必须和WWW-Authenticate报头域一起使用 403 Forbidden #服务器收到请求，但是拒绝提供服务 404 Not Found #请求资源不存在，eg：输入了错误的URL 500 Internal Server Error #服务器发生不可预期的错误 503 Server Unavailable #服务器当前不能处理客户端的请求，一段时间后可能恢复正常
2、Respone header
set-cookie：可能有多个，是来告诉浏览器，把cookie保存下来
3、preview就是网页源代码
最主要的部分，包含了请求资源的内容，如网页html，图片，二进制数据等
总结
#1、总结爬虫流程： 爬取--->解析--->存储 #2、爬虫所需工具： 请求库：requests,selenium 解析库：正则，beautifulsoup，pyquery 存储库：文件，MySQL，Mongodb，Redis #3、爬虫常用框架： scrapy
# import requests #pip3 install requests import re import hashlib import time from concurrent.futures import ThreadPoolExecutor pool=ThreadPoolExecutor(50) movie_path=r'C:\mp4' def get_page(url): try: response=requests.get(url) if response.status_code == 200: return response.text except Exception: pass def parse_index(index_page): index_page=index_page.result() urls=re.findall('class="items".*?href="(.*?)"',index_page,re.S) for detail_url in urls: if not detail_url.startswith('http'): detail_url='http://www.xiaohuar.com'+detail_url pool.submit(get_page,detail_url).add_done_callback(parse_detail) def parse_detail(detail_page): detail_page=detail_page.result() l=re.findall('id="media".*?src="(.*?)"',detail_page,re.S) if l: movie_url=l[0] if movie_url.endswith('mp4'): pool.submit(get_movie,movie_url) def get_movie(url): try: response=requests.get(url) if response.status_code == 200: m=hashlib.md5() m.update(str(time.time()).encode('utf-8')) m.update(url.encode('utf-8')) filepath='%s\%s.mp4' %(movie_path,m.hexdigest()) with open(filepath,'wb') as f: f.write(response.content) print('%s 下载成功' %url) except Exception: pass def main(): base_url='http://www.xiaohuar.com/list-3-{page_num}.html' for i in range(5): url=base_url.format(page_num=i) pool.submit(get_page,url).add_done_callback(parse_index) if __name__ == '__main__': main() # print(re.findall('\w','hello egon 123')) # print(re.findall('h.*?src="(.*?)"','he src="(dg)" haaa src="(dssg)" egon 123'))
# ####################gif########### # import requests #pip3 install requests # import re # import hashlib # import time # from concurrent.futures import ThreadPoolExecutor # # pool=ThreadPoolExecutor(50) # movie_path=r'D:\python代码文件存放目录\S6\1.16\爬虫一 煎蛋\GIF' # # def get_page(url): # try: # response=requests.get(url) # if response.status_code == 200: # return response.text # except Exception: # pass # # def parse_index(index_page): # index_page=index_page.result() # print('111111111',index_page) # urls=re.findall('style="text-align:center;".*?src="(.*?)"',index_page,re.S) # print('22222',urls) # for detail_url in urls: # # if not detail_url.startswith('http'): # # detail_url='http://www.xiaohuar.com'+detail_url # print('-----', detail_url) # if detail_url.endswith('gif'): # pool.submit(get_movie,detail_url) # # pool.submit(get_page,detail_url).add_done_callback(parse_detail) # # # def parse_detail(detail_page): # # detail_page=detail_page.result() # # print('===',detail_page) # # l=re.findall('img.*?src="(.*?)"',detail_page,re.S) # # print(l) # # if l: # # # # movie_url=l[0] # # if movie_url.endswith('gif'): # # pool.submit(get_movie,movie_url) # # def get_movie(url): # try: # response=requests.get(url) # if response.status_code == 200: # m=hashlib.md5() # m.update(str(time.time()).encode('utf-8')) # m.update(url.encode('utf-8')) # filepath='%s\%s.gif' %(movie_path,m.hexdigest()) # with open(filepath,'wb') as f: # f.write(response.content) # print('%s 下载成功' %url) # except Exception: # pass # # def main(): # base_url = 'http://www.tufutv.com/news/8.html' # for i in range(1): # # url=base_url.format(page_num=i) # pool.submit(get_page,base_url).add_done_callback(parse_index) # # if __name__ == '__main__': # main() #############煎蛋网########## import requests #pip3 install requests import re import hashlib import time import os from concurrent.futures import ThreadPoolExecutor pool=ThreadPoolExecutor(50) movie_path=r'D:\python代码文件存放目录\S6\1.16\爬虫一 煎蛋\煎蛋网' def get_page(url,i): print(i) try: response=requests.get(url) if response.status_code == 200: return [response.text,i] except Exception: pass def parse_index(index_page): print(index_page,type(index_page)) index_page=index_page.result() print(index_page, type(index_page)) i = index_page[1] print(i) index_page=index_page[0] # print('111111111',index_page) urls=re.findall('class="aligncenter".*?src="(.*?)"',index_page,re.S) print('22222',urls) for detail_url in urls: # if not detail_url.startswith('http'): # detail_url='http://www.xiaohuar.com'+detail_url print('-----', detail_url) if detail_url.endswith('gif'): a='gif' elif detail_url.endswith('jpg'): a = 'jpg' pool.submit(get_movie,detail_url,a,i) # pool.submit(get_page,detail_url).add_done_callback(parse_detail) # def parse_detail(detail_page): # detail_page=detail_page.result() # print('===',detail_page) # l=re.findall('img.*?src="(.*?)"',detail_page,re.S) # print(l) # if l: # # movie_url=l[0] # if movie_url.endswith('gif'): # pool.submit(get_movie,movie_url) def get_movie(url,a,i): print(a,i) try: print('try') response=requests.get(url) if response.status_code == 200: print(200) m=hashlib.md5() m.update(str(time.time()).encode('utf-8')) m.update(url.encode('utf-8')) if not os.path.exists(movie_path + r'\%s'%i): os.makedirs(movie_path + r'\%s' % i) filepath='%s\%s\%s.%s' %(movie_path,i,m.hexdigest(),a) with open(filepath,'wb') as f: f.write(response.content) print('%s 下载成功' %url) except Exception : print(111111111) def main(): base_url = 'http://www.yikeyouzi.com/201604056806/{page_num}' for i in range(42,43): url=base_url.format(page_num=i) pool.submit(get_page,url,i).add_done_callback(parse_index) time.sleep(3) if __name__ == '__main__': main()
后续知识
what'sthe单例模式
what‘sthe单例模式 单例模式，是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例的特殊类。通过单例模式可以保证系统中，应用该模式的类一个类只有一个实例。即一个类只有一个对象实例 对于系统... 查看详情
what'sthe回抽
出自MBA智库百科(https://wiki.mbalib.com/) 什么是回抽 由于近年来证券投资领域中技术分析的不断普及，许多投资者都认识到了股价（汇价）一旦突破颈线压力，后市看好。但是还有一部分投资者在“真突破”时及时跟进，后... 查看详情
python之爬虫爬虫的原理
在上文中我们说了：爬虫就是请求网站并提取数据的自动化程序。其中请求，提取，自动化是爬虫的关键！下面我们分析爬虫的基本流程爬虫的基本流程发起请求通过HTTP库向目标站点发起请求，也就是发送一个Request，请求可以... 查看详情
爬虫--基本原理讲解
1、爬虫的基本流程2、request和response(1)request(2)response3、怎样抓取数据？4、解析方式 5、怎么解决JavaScript渲染问题？6、怎样保存数据 查看详情
爬虫基本原理讲解(代码片段)
（一）简介今天，我们将对爬虫的基础知识做一个基本的梳理，以便大家掌握爬虫的基本思路，爬虫即为网络资源数据获取，用一句话概括就是：请求网站并提取数据的自动化程序爬虫的基本流程分为四步：在第一二步Reques... 查看详情
python爬虫4爬虫基本原理
爬虫基本原理爬虫的基本流程1、获取网页源代码：通过请求库实现，urllib，requests等实现HTTP请求；2、提取信息：分析网页源代码，提取数据，如正则表达式，beautifulsoup，pyquery，Ixml等；... 查看详情
爬虫基本原理
执行时找不到浏览器的驱动解决解决方法：https://blog.csdn.net/qq_26200629/article/details/86141131 google对应版本驱动的下载：http://npm.taobao.org/mirrors/chromedriver/下载得到驱动之后： 查看详情
爬虫基本原理
什么是爬虫？ 请求网站并提取数据的自动化程序。 请求：用程序实现 提取：要从文本提取有用的信息 自动化：程序可以一直运行，不断向服务器发起请求爬虫基本流程发起请求：通过HTTP库向目标站点发起请求... 查看详情
爬虫基本原理
什么是爬虫？即“请求”网站并“提取”数据的“自动化”程序。爬虫基本流程：发起请求：通过HTTP库向目标站点发起请求，即发送一个Reques,请求可以包含额外的headers等信息，等待服务器相应。获取相应内容：如果服务器能正... 查看详情
bloomfilter的基本原理和变种
...集合，即falsepositive。可以应用于检查一个URL是否已经被爬虫爬过、网 查看详情
爬虫从入门到放弃——爬虫的基本原理(代码片段)
爬虫的基本原理：https://www.cnblogs.com/zhaof/p/6898138.html这个文章写的非常好，把爬虫的基本思路解释的很清楚的。 一、介绍工具（用什么爬）1、PythonIDLE就是用了创建、运行、测试和调试python的工具。集成开发环境：用于... 查看详情
爬虫基本原理(代码片段)
目录一、爬虫的定义 一、爬虫的定义基本上网： 浏览器提交请求->下载网页代码->解析/渲染成页面。 爬 虫： 模拟浏览器发送请求->下载网页代码->只提取有用的数据->... 查看详情
爬虫：基本原理
一：什么是爬虫请求网站并提取数据的自动化程序。二：爬虫基本流程a.发起请求 通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等服务器响应。b.获取响应内容 如果服务器能正常... 查看详情
爬虫之我理解-https原理
爬虫是一个逆向工程，别人开发的网站，我们通过一个接口，比如URL，能获取返回的内容，仅此而已，我们能了解的只有这些。0.HTTPS和http的工作原理(http://www.cnblogs.com/ttltry-air/archive/2012/08/20/2647898.html) HTTPS的工作原理 &nbs... 查看详情
爬虫基本原理
一.爬虫是什么？二.爬虫的基本流程三.请求与响应四.Request五.Response六.总结一爬虫是什么？1、什么是互联网？互联网是由网络设备(网线,路由器,交换机,防火墙等等)和一台台计算机连接而成，像一张网一样。2、互联网建立的目... 查看详情
爬虫-基本原理
阅读目录一爬虫是什么二爬虫的基本流程三请求与响应四Request五Response六总结一爬虫是什么#1、什么是互联网？互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。#2、互联网... 查看详情
爬虫基本原理
阅读目录一爬虫是什么二爬虫的基本流程三请求与响应四Request五Response六总结一爬虫是什么#1、什么是互联网？互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。#2、互联网... 查看详情
网络爬虫的基本原理
1、网络爬虫原理网络爬虫指按照一定的规则（模拟人工登录网页的方式），自动抓取网络上的程序。简单的说，就是讲你上网所看到页面上的内容获取下来，并进行存储。网络爬虫的爬行策略分为深度优先和广度优先。如下图... 查看详情