关键词：
# 聚焦爬虫的设计思路:
1.确定url, 发起请求, 获取响应---> 抓包, requests, urllib, aiohttp, scrapy
2.数据解析 --> 目标数据, xpath, re正则, bs4, pyquery
3.数据持久化 --> 文件系统, 数据库 --> MySQL, MongoDB, redis--> 介绍, 数据类型, 常用操作:增删改查, 主从复制, 集群的搭建
# 聚焦爬虫
针对某一领域抓取特定数据的爬虫程序(主题爬虫, 垂直领域爬取)
某一领域: 电商; 金融量化分析--> 股票网站, 金融咨询类
特定数据: 响应数据中的一本分, 目标数据 ---> 数据解析来实现的
# 通用爬虫: 爬虫程序. 爬取数据为搜索引擎提供检索服务
# 通用爬虫架构: 如下图
# 使搜索引擎获取到你的网站:
1).主动提交: https://ziyuan.baidu.com/linksubmit/url
2).设置友情链接
3).搜索引擎与DNS服务商合作
# SEO排名
1).花钱--->百度竞价
2).pagerank(流量点击率)
# 缺点: 抓取的内容多, 但是多数无用; 不能精准解析数据
# robots协议:
1.作用: 约定了网站哪些页面不允许哪些爬虫爬取
2.代表除了以上规定的爬虫, 其他任何和爬虫不允许爬取我任何页面(包括聚焦爬虫)
User-agent: *
Disallow: /
爬虫基本原理讲解(代码片段)
（一）简介今天，我们将对爬虫的基础知识做一个基本的梳理，以便大家掌握爬虫的基本思路，爬虫即为网络资源数据获取，用一句话概括就是：请求网站并提取数据的自动化程序爬虫的基本流程分为四步：在第一二步Reques... 查看详情
爬虫基础知识
>=点击查看本专栏快速目录=<【零基础入门Python爬虫】第1章爬虫基础知识爬虫的概念爬虫是否违法爬虫需要掌握的技术列表爬虫原理为什么用Python做爬虫爬虫的概念 网络爬虫又名网络蜘蛛、网络蚂蚁、网络机器人... 查看详情
python爬虫--requests库用法大全
昨晚分享了Python爬虫的基本知识，本文分享一下爬虫里面请求相关的内容：Requests用法。往期知识回顾：Python爬虫基本原理12.奇怪知识(1)--Matlab爬虫获取王者荣耀英雄皮肤在了解完爬虫相关的基础知识以后，我... 查看详情
爬虫用到的知识点
爬虫用到的知识点1，第一阶段：字符串，列表方法。。。2，第二阶段：Mysql，MongoDB,多进程爬虫，多线程爬虫，正则表达式re3，第三阶段：HTML，JS，Redis数据库。。。 查看详情
爬虫的基本原理？爬虫需要掌握哪些东西？
什么是网络爬虫？相信刚接触爬虫这个词的人都有这样的疑问，网络爬虫可以做什么？它是基于什么样的原理，如果想要学习爬虫，需要掌握什么知识。本文将会对这些问题做一个解释和说明，希望可以帮... 查看详情
爬虫从入门到放弃——爬虫的基本原理(代码片段)
爬虫的基本原理：https://www.cnblogs.com/zhaof/p/6898138.html这个文章写的非常好，把爬虫的基本思路解释的很清楚的。 一、介绍工具（用什么爬）1、PythonIDLE就是用了创建、运行、测试和调试python的工具。集成开发环境：用于... 查看详情
关于爬虫的日常复习（13）——爬虫requests的初级高级的基本用法
关于爬虫的日常复习（14）——爬虫beautifulsoup的初级高级的基本用法
爬虫基本知识（转载）
转载自：http://blog.csdn.net/hk2291976/article/details/51154974爬虫基本知识本文目录 爬虫基本知识本文目录写在开头如何爬RequestsRequests安装Requests使用如何提取正则表达式python正则模块使用XPathXPath语法 写在开头这阵子需要用爬虫... 查看详情
爬虫入门手记03爬虫解析利器beautifulsoup模块的基本应用
【爬虫入门手记03】爬虫解析利器beautifulSoup模块的基本应用 广东职业技术学院 欧浩源 2017-10-201、引言 网络爬虫最终的目的就是过滤选取网络信息，因此最重要的就是解析器了，其性能的优劣直接决定这网络... 查看详情
如何学习python爬虫
...范还有喜很多，包括但不仅限于HTML知识、HTTP/HTTPS协议的基本知识、正则表达式、数据库知识，常用抓包工具的使用、爬虫框架的使用等。而且涉及到大规模爬虫，还需要了解分布式的概念、消息队列、常用的数据结构和算法、... 查看详情
如何入门python爬虫
...范还有喜很多，包括但不仅限于HTML知识、HTTP/HTTPS协议的基本知识、正则表达式、数据库知识，常用抓包工具的使用、爬虫框架的使用等。而且涉及到大规模爬虫，还需要了解分布式的概念、消息队列、常用的数据结构和算法、... 查看详情
如何入门python爬虫
...范还有喜很多，包括但不仅限于HTML知识、HTTP/HTTPS协议的基本知识、正则表达式、数据库知识，常用抓包工具的使用、爬虫框架的使用等。而且涉及到大规模爬虫，还需要了解分布式的概念、消息队列、常用的数据结构和算法、... 查看详情
python爬虫编程思想：网络爬虫的基本原理
目录1.爬虫的分类2.爬虫抓取数据的方式和手段Python爬虫编程思想（5）：Session与Cookie 我们为什么将从互联网上下载资源的程序称为爬虫呢？其实这是一个很形象的比... 查看详情
爬虫基础-http请求的基础知识
百度百科上这么介绍爬虫：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。在开发爬虫时常用的工具：chrome浏览器，fi... 查看详情
爬虫基本原理
一.爬虫是什么？二.爬虫的基本流程三.请求与响应四.Request五.Response六.总结一爬虫是什么？1、什么是互联网？互联网是由网络设备(网线,路由器,交换机,防火墙等等)和一台台计算机连接而成，像一张网一样。2、互联网建立的目... 查看详情
爬虫-基本原理
阅读目录一爬虫是什么二爬虫的基本流程三请求与响应四Request五Response六总结一爬虫是什么#1、什么是互联网？互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。#2、互联网... 查看详情
爬虫基本原理
阅读目录一爬虫是什么二爬虫的基本流程三请求与响应四Request五Response六总结一爬虫是什么#1、什么是互联网？互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。#2、互联网... 查看详情