关键词：
浏览器打开网页的过程就是爬虫获取数据的过程，两者是一样一样的。浏览器渲染的网页是丰富多彩的数据集合，而爬虫得到的是网页的源代码htm有时候，我们不能在网页的html代码里面找到想要的数据，但是浏览器打开的网页上面却有这些数据。这就是浏览器通过ajax技术异步加载（偷偷下载）了这些数据。
大家禁不住要问：那么该如何看到浏览器偷偷下载的那些数据呢？
答案就是谷歌Chrome浏览器的F12快捷键，也可以通过鼠标右键菜单“检查”（Inspect）打开Chrome自带的开发者工具，开发者工具会出现在浏览器网页的左侧或者是下面（可调整），它的样子就是这样的：
让我们简单了解一下它如何使用：
谷歌Chrome抓包:1. 最上面一行菜单
左上角箭头 用来点击查看网页的元素
第二个手机、平板图标是用来模拟移动端显示网页
Elements 查看渲染后的网页标签元素
提醒 是渲染后（包括异步加载的图片、数据等）的完整网页的html，不是最初下载的那个html。
Console 查看JavaScript的console log信息，写网页时比较有用
Sources 显示网页源码、CSS、JavaScript代码
Network 查看所有加载的请求，对爬虫很有帮助
后面的暂且不管。
谷歌Chrome抓包:2. 重要区域
图中红框的两个按钮比较有用，编号为2的是清空请求记录；编号3的是保持记录，这在网页有重定向的时候很有用
图中绿色区域就是加载完整个网页，浏览器的全部请求记录，包括网址、状态、类型等。写爬虫时，我们就要在这里寻找线索，提炼金矿。
最下面编号为4的红框显示了加载这个网页，一共请求了181次，数量是多么地惊人，让人不禁心疼七浏览器来。
点击一条请求的网址，右侧就会出现新的窗口显示该条请求的相信信息：
图中左边红框就是点击的请求网址；绿框就是详情窗口。
详情窗口包括，Headers（请求头）、Preview（预览响应）、Response（服务器响应内容）和Timing（耗时）。
Preview、Response 帮助我们查看该条请求是不是有爬虫想要的数据；
Headers帮助我们在爬虫中重建http请求，以便爬虫得到和浏览器一样的数据。
了解和熟练使用Chrome的开发者工具，大家就如虎添翼可以顺利写出自己的爬虫啦。
最后注意：光理论是不够的。这里顺便免费送大家一套2020最新python入门到高级项目实战视频教程，可以去小编的Python交流.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，还可以跟老司机交流讨教！
本文的文字及图片来源于网络加上自己的想法,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
亲自实践能够下载的谷歌地图切片url地址谷歌地图数据下载的尝试以及python爬虫实现(代码片段)
...1、全能电子地图下载器1.2、GlobalMapper2、地图获取原理3、python爬取谷歌瓦片地图数据3.1、python关键代码3.2、代码的优化和结果3.3、python完整工程代码和展望 4、Python工程生成exe以及调用4.1、工程外部参数输入改写 4.2、exe生成和... 查看详情
wireshark长时间抓包分多个文件
...言通过wireshark界面进行设置通过命令行工具dumpcap.exe进行抓包通过tcpdump的windows版本进行抓包回到顶部前言说一说这个问题的由来，一般使用wireshark不需要长时间抓包的，但是有时候遇到网络通信中非常棘手的问题，例如一个小... 查看详情
爬虫必备安装和使用xpath正则表达式插件以及f12的抓包流程(代码片段)
本文以谷歌浏览器为例子，本文只用到了Xpath,正则,爬虫可以有css选择器的插件,可自己操作一下css选择器的下载使用目录1.安装Xpath插件2.使用Xpath插件3.安装正则表达式插件4.使用正则表达式插件5.F12抓包，CSDN评论为例子5.1... 查看详情
如何传播通过 gdata python api 创建的谷歌日历事件的提醒？
】如何传播通过gdatapythonapi创建的谷歌日历事件的提醒？【英文标题】：Howtopropagateremindersforagooglecalendareventcreatedviathegdatapythonapi?【发布时间】：2011-05-1222:59:37【问题描述】：我正在开发一个python应用程序，它使用gdata以编程方式... 查看详情
chromef12学习
Chrome实用调试技巧Chrome调试工具常用功能整理GoogleChrome开发者工具使用（图文教程）如何更专业的使用Chrome开发者工具 查看详情
chromef12调试网页出现pausedindebugger如何绕过
在调试某网站时，出现debugger点击右侧的sources选项卡，如何根据下图操作。（也可以直接按Ctrl+F8就可以了） 查看详情
如何提高加载网站上嵌入的谷歌地图的速度？ [关闭]
】如何提高加载网站上嵌入的谷歌地图的速度？[关闭]【英文标题】：Howcaniincreasespeedforloadingofgooglemapsembededonsite?[closed]【发布时间】：2011-01-1217:28:08【问题描述】：有没有javascripts或其他方法可以减少谷歌地图的加载时间？谷歌... 查看详情
如何使用地形地图类型设置基于云的谷歌地图样式？
】如何使用地形地图类型设置基于云的谷歌地图样式？【英文标题】：Howtostylegooglemapscloud-basedwithterrainmaptype?【发布时间】：2022-01-1010:12:11【问题描述】：我想做的是从本地样式切换到基于云的样式。在这里，我遇到了地形图类... 查看详情
[转帖]前端-chromef12谷歌开发者工具详解sources篇(代码片段)
前端-chromeF12谷歌开发者工具详解Sources篇原贴地址:https://blog.csdn.net/qq_39892932/article/details/82498748console里面的东西前端的不懂啊.. 这次分享的是Chrome开发工具中最有用的面板Sources。Sources面板几乎是我最常用到的Chrome功能面... 查看详情
[转帖]前端-chromef12谷歌开发者工具详解network篇(代码片段)
前端-chromeF12谷歌开发者工具详解Network篇https://blog.csdn.net/qq_39892932/article/details/82493922blog也是原作者转帖的应该是不过挺好的可以在1906里面仔细实验学习一下.原文链接：https://segmentfault.com/a/1190000010302235 开发者工具初步介绍&n... 查看详情
如何解析特定的谷歌地图 API 网络服务 JSON 响应
】如何解析特定的谷歌地图API网络服务JSON响应【英文标题】：HowtoparsespecificgooglemapsAPIwebservicesJSONrepsonse【发布时间】：2011-12-2610:19:18【问题描述】：googleMapsAPIJSON响应返回具有相同名词的不同参数："status":"OK","results":["types":["stre... 查看详情
好强的谷歌“excel”，不用自己写代码就能爬虫，网友立马cue微软：慌不慌？...
丰色发自凹非寺量子位|公众号QbitAI家人们，要爬虫——现在用一个电子表格就行了。一行代码也别写，第三方软件也甭安。只需在表格里点几下就ok。不信，你瞧：就这么两下，网页上的商品信息都有了。网... 查看详情
如何从Android中的谷歌登录获取性别等个人资料？
】如何从Android中的谷歌登录获取性别等个人资料？【英文标题】：HowtogetprofilelikegenderfromgooglesignininAndroid?【发布时间】：2016-02-2619:53:12【问题描述】：我想将谷歌登录集成到我的应用程序中，当用户首次登录时，我将创建一个... 查看详情
如何在 Reactjs 中的谷歌地图上嵌入一个确切的位置
】如何在Reactjs中的谷歌地图上嵌入一个确切的位置【英文标题】：HowtoembedanexactplaceongooglemapsinReactjs【发布时间】：2021-05-1618:55:12【问题描述】：我正在使用Reactjs重做我的网站。我正在尝试在地图上嵌入一个带有评论的确切谷歌... 查看详情
无论如何检查用户集成的谷歌帐户是谷歌工作区帐户（Gsuite）还是普通帐户？
】无论如何检查用户集成的谷歌帐户是谷歌工作区帐户（Gsuite）还是普通帐户？【英文标题】：IsthereanywaytocheckwhetherthegoogleaccountthatuserintegratedisaGoogleworkspaceaccount(Gsuite)ornormalaccount?【发布时间】：2021-12-2101:18:46【问题描述】：我... 查看详情
如何在 android 传递 json 数组的谷歌地图上绘制折线？
】如何在android传递json数组的谷歌地图上绘制折线？【英文标题】：Howtodrawpolylineongooglemapinandroidpassingjsonarray?【发布时间】：2017-12-2219:30:19【问题描述】：嘿伙计们，我正在研究车辆跟踪系统的项目，当用户可以输入车辆数量时... 查看详情
[转帖]前端-chromef12谷歌开发者工具详解console篇(代码片段)
前端-chromeF12谷歌开发者工具详解Console篇https://blog.csdn.net/qq_39892932/article/details/82655866趁着搞cloud的学习学一下chrome前端知识等. 大家都有用过各种类型的浏览器，每种浏览器都有自己的特色，本人拙见，在我用过的浏览器... 查看详情
我的谷歌地图 api 密钥在 python 中不起作用，尽管它可以在 swift 中运行
】我的谷歌地图api密钥在python中不起作用，尽管它可以在swift中运行【英文标题】：Mygooglemapsapikeyisnotfunctioninginpythonalthoughitworksinswift【发布时间】：2019-12-1022:20:51【问题描述】：我在我的swift项目中使用从谷歌地图获得的API密钥... 查看详情