关键词:
阅读目录
一 爬虫是什么
#1、什么是互联网? 互联网是由网络设备(网线,路由器,交换机,防火墙等等)和一台台计算机连接而成,像一张网一样。 #2、互联网建立的目的? 互联网的核心价值在于数据的共享/传递:数据是存放于一台台计算机上的,而将计算机互联到一起的目的就是为了能够方便彼此之间的数据共享/传递,否则你只能拿U盘去别人的计算机上拷贝数据了。 #3、什么是上网?爬虫要做的是什么? 我们所谓的上网便是由用户端计算机发送请求给目标计算机,将目标计算机的数据下载到本地的过程。 #3.1 只不过,用户获取网络数据的方式是: 浏览器提交请求->下载网页代码->解析/渲染成页面。 #3.2 而爬虫程序要做的就是: 模拟浏览器发送请求->下载网页代码->只提取有用的数据->存放于数据库或文件中 #3.1与3.2的区别在于: 我们的爬虫程序只提取网页代码中对我们有用的数据 #4、总结爬虫 #4.1 爬虫的比喻: 如果我们把互联网比作一张大的蜘蛛网,那一台计算机上的数据便是蜘蛛网上的一个猎物,而爬虫程序就是一只小蜘蛛,沿着蜘蛛网抓取自己想要的猎物/数据 #4.2 爬虫的定义: 向网站发起请求,获取资源后分析并提取有用数据的程序 #4.3 爬虫的价值: 互联网中最有价值的便是数据,比如天猫商城的商品信息,链家网的租房信息,雪球网的证券投资信息等等,这些数据都代表了各个行业的真金白银,可以说,谁掌握了行业内的第一手数据,谁就成了整个行业的主宰,如果把整个互联网的数据比喻为一座宝藏,那我们的爬虫课程就是来教大家如何来高效地挖掘这些宝藏,掌握了爬虫技能,你就成了所有互联网信息公司幕后的老板,换言之,它们都在免费为你提供有价值的数据。
二 爬虫的基本流程
#1、发起请求 使用http库向目标站点发起请求,即发送一个Request Request包含:请求头、请求体等 #2、获取响应内容 如果服务器能正常响应,则会得到一个Response Response包含:html,json,图片,视频等 #3、解析内容 解析html数据:正则表达式,第三方解析库如Beautifulsoup,pyquery等 解析json数据:json模块 解析二进制数据:以b的方式写入文件 #4、保存数据 数据库 文件
三 请求与响应
#http协议:http://www.cnblogs.com/linhaifeng/articles/8243379.html
#Request:用户将自己的信息通过浏览器(socket client)发送给服务器(socket server) #Response:服务器接收请求,分析用户发来的请求信息,然后返回数据(返回的数据中可能包含其他链接,如:图片,js,css等) #ps:浏览器在接收Response后,会解析其内容来显示给用户,而爬虫程序在模拟浏览器发送请求然后接收Response后,是要提取其中的有用数据。
四 Request
#1、请求方式: 常用的请求方式:GET,POST 其他请求方式:HEAD,PUT,DELETE,OPTHONS ps:用浏览器演示get与post的区别,(用登录演示post) post与get请求最终都会拼接成这种形式:k1=xxx&k2=yyy&k3=zzz post请求的参数放在请求体内: 可用浏览器查看,存放于form data内 get请求的参数直接放在url后 #2、请求url url全称统一资源定位符,如一个网页文档,一张图片 一个视频等都可以用url唯一来确定 url编码 https://www.baidu.com/s?wd=图片 图片会被编码(看示例代码) 网页的加载过程是: 加载一个网页,通常都是先加载document文档, 在解析document文档的时候,遇到链接,则针对超链接发起下载图片的请求 #3、请求头 User-agent:请求头中如果没有user-agent客户端配置, 服务端可能将你当做一个非法用户 host cookies:cookie用来保存登录信息 一般做爬虫都会加上请求头 #4、请求体 如果是get方式,请求体没有内容 如果是post方式,请求体是format data ps: 1、登录窗口,文件上传等,信息都会被附加到请求体内 2、登录,输入错误的用户名密码,然后提交,就可以看到post,正确登录后页面通常会跳转,无法捕捉到post
五 Response
#1、响应状态 200:代表成功 301:代表跳转 404:文件不存在 403:权限 502:服务器错误 #2、Respone header set-cookie:可能有多个,是来告诉浏览器,把cookie保存下来 #3、preview就是网页源代码 最主要的部分,包含了请求资源的内容 如网页html,图片 二进制数据等
六 总结
#1、总结爬虫流程: 爬取--->解析--->存储 #2、爬虫所需工具: 请求库:requests,selenium 解析库:正则,beautifulsoup,pyquery 存储库:文件,MySQL,Mongodb,Redis #3、爬虫常用框架: scrapy
爬虫从入门到放弃——爬虫的基本原理(代码片段)
爬虫的基本原理:https://www.cnblogs.com/zhaof/p/6898138.html这个文章写的非常好,把爬虫的基本思路解释的很清楚的。 一、介绍工具(用什么爬)1、PythonIDLE就是用了创建、运行、测试和调试python的工具。集成开发环境:用于... 查看详情
爬虫基本原理(代码片段)
一、爬虫是什么 1、什么是互联网 互联网是网络设备(网络、路由器、交换机、防火墙等等)和一台台计算机连接而成,像一张网一样。 2、互联网建立的目的 互联网的核心价值在于数据的共享/传递:数据是存放... 查看详情
爬虫从入门到放弃-纯新手学习-爬虫基本原理(代码片段)
1.什么是爬虫?请求网站并提取数据的自动化程序请求:客户端向服务端发送请求获得网页资源,是一段html代码,包含html标签和一段信息。提取:提取出想要的信息,然后将结构化的数据存储到文本自动化:写完程序一直运行... 查看详情
scrapy爬虫框架补充内容三(代理及其基本原理介绍)(代码片段)
前言:(本文参考维基百科及百度百科所写)当我们使用爬虫抓取数据时,有时会产生错误比如:突然跳出来了403Forbidden或者网页上出现以下提示:您的ip访问频率太高或者时不时跳出一个验证码需要你输入,这是由于网站采取... 查看详情
爬虫基本原理(代码片段)
阅读目录一爬虫是什么二爬虫的基本流程三请求与响应四Request五Response六总结一爬虫是什么#1、什么是互联网?互联网是由网络设备(网线,路由器,交换机,防火墙等等)和一台台计算机连接而成,像一张网一样。#2、互联网... 查看详情
爬虫基本原理(转)(代码片段)
一爬虫是什么#1、什么是互联网?互联网是由网络设备(网线,路由器,交换机,防火墙等等)和一台台计算机连接而成,像一张网一样。#2、互联网建立的目的?互联网的核心价值在于数据的共享/传递:数据是存放于一台... 查看详情
〖python网络爬虫实战①〗-http原理(代码片段)
...围,荣获多家平台专家称号。 最近更新〖Python网络爬虫实战①〗-HTTP原理⭐️爬虫基础在写爬虫之前,我们还需要了解一些基础知识,如HTTP原理、网页的基础知识、爬虫的基本原理、Cookies的基本原理等。本文中... 查看详情
python爬虫4爬虫基本原理
爬虫基本原理爬虫的基本流程1、获取网页源代码:通过请求库实现,urllib,requests等实现HTTP请求;2、提取信息:分析网页源代码,提取数据,如正则表达式,beautifulsoup,pyquery,Ixml等;... 查看详情
〖python网络爬虫实战⑨〗-正则表达式基本原理(代码片段)
...围,荣获多家平台专家称号。 最近更新〖Python网络爬虫实战⑥〗-多线程和多进程〖Python网络爬虫实战⑦〗-requests的使用(一)〖Python网络爬虫实战⑧〗-requests的使用(二)上节回顾 我们已经可以... 查看详情
理解爬虫原理(代码片段)
1.简单说明爬虫原理爬虫:请求网站并提取数据的自动化程序百科:网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另... 查看详情
基础网络爬虫(webcrawler)相关技术浅析(代码片段)
文章目录前言基本概念Robots协议基本原理现状概况爬虫软件跨语言SeleniumPythonurllibrequestsScrapyPyspiderJavaWebMagicWebCollector技术分析网络请求获取请求浏览器开发者工具浏览器插件网络抓包工具请求认证拷贝认证认证请求模拟认证验证... 查看详情
基础网络爬虫(webcrawler)相关技术浅析(代码片段)
文章目录前言基本概念Robots协议基本原理现状概况爬虫软件跨语言SeleniumPythonurllibrequestsScrapyPyspiderJavaWebMagicWebCollector技术分析网络请求获取请求浏览器开发者工具浏览器插件网络抓包工具请求认证拷贝认证认证请求模拟认证验证... 查看详情
理解爬虫原理(代码片段)
1.简单说明爬虫原理 通过程序模拟浏览器请求站点的行为,把站点返回的HTML代码/JSON数据/二进制数据(图片、视频)爬到本地,进而提取自己需要的数据,存放起来使用。 2.理解爬虫开发过程1).简要说明浏览器工作原理... 查看详情
理解爬虫原理(代码片段)
1.简单说明爬虫原理a.向服务器发起请求b.获取响应内容c.解析内容d.保存内容2.理解爬虫开发过程1).简要说明浏览器工作原理;输入url,发送请求,通过网络连接,等待服务器相应返回数据,浏览器出现界面2).使用requests库抓... 查看详情
理解爬虫原理(代码片段)
1.简单说明爬虫原理上网所看到页面上的内容获取下来,并进行存储。2.理解爬虫开发过程1).简要说明浏览器工作原理;浏览器发送请求,服务器接收到,给出响应。2).使用requests库抓取网站数据;url=‘http://www.sohu.com/‘res=requests... 查看详情
爬虫原理与数据抓取-----(了解)通用爬虫和聚焦爬虫(代码片段)
通用爬虫和聚焦爬虫根据使用场景,网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种.通用爬虫通用网络爬虫是捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分。主要目的是将互联网上的网页下载到本地,形... 查看详情
理解爬虫原理(代码片段)
1.简单说明爬虫原理1、向服务器发起请求2、获取响应内容 3、解析内容4、保存内容 2.理解爬虫开发过程1).简要说明浏览器工作原理;浏览器的主要功能是向服务器发出请求,在浏览器中展示选择的网路资源,一般资源就... 查看详情
scrapy爬虫:scrapy架构及原理(代码片段)
Scrapy爬虫(三):scrapy架构及原理 Scrapy爬虫三scrapy架构及原理scrapy爬虫尝鲜scrapydataflow流程图scrapy项目结构 scrapy爬虫尝鲜scrapy现在已经完美支持python3+,所以后面的实例我都会使用python3+的环境。首先我们来尝下鲜,下面的... 查看详情