关键词：
selenium 模拟chrome浏览器，此时就是一个真实的浏览器，一个浏览器该加载的该渲染的它都加载都渲染，所以爬取网页的速度很慢。如果可以不加载图片等操作，网页加载速度就会快不少，代码中列出了了禁用图片，禁用JS，切换UA的方法。
from selenium import webdriver
from fake_useragent import UserAgent
ua = UserAgent().random
print(ua)
chrome_options = webdriver.ChromeOptions()
prefs = {
‘profile.default_content_setting_values‘: {
# 也可以这样写，两种都正确
# ‘profile.default_content_settings‘: {
‘images‘: 2,
# 不加载图片
‘javascript‘: 2,
# 不加载JS
"User-Agent": ua,
# 更换UA
}
}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(executable_path="C:/codeapp/seleniumDriver/chrome/chromedriver.exe", chrome_options=chrome_options)
#这个网页可以显示浏览器的信息，这样我们就可以看到我们的UA信息，
url = "https://httpbin.org/get?show_env=1"
browser.get(url) |
phantomjs集成到scrapy中，并禁用图片，切换ua
phantomjs是一个没有界面的浏览器，支持各种web标准，提供DOM处理,CSS选择器,JSON,Canvas,和SVG，对于爬取一些经过js渲染的页面非常有用。但是phantomjs默认的user-agent一般都被那些防采集的网站屏蔽了，鬼都知道用这个浏览器，都是来... 查看详情
ChromeDriver - 在 Selenium WebDriver 自动化上弹出禁用开发者模式扩展
】ChromeDriver-在SeleniumWebDriver自动化上弹出禁用开发者模式扩展【英文标题】：ChromeDriver-DisabledevelopermodeextensionspopuponSeleniumWebDriverautomation【发布时间】：2014-05-3001:03:20【问题描述】：我遇到以下问题：当我运行自动化测试时，我... 查看详情
切换开关 - 当我启用另一个按钮时禁用一个按钮
】切换开关-当我启用另一个按钮时禁用一个按钮【英文标题】：Toggleswitch-Disableonebuttonwhenienabletheotherone【发布时间】：2019-05-0311:45:54【问题描述】：我想做的是禁用一个按钮，当我启用另一个按钮时（因此最多可以激活一个按... 查看详情
全局禁用 cmd+tab 应用切换器
】全局禁用cmd+tab应用切换器【英文标题】：Globallydisablethecmd+tabappswitcher【发布时间】：2011-08-2703:21:21【问题描述】：我希望能够禁用使用命令选项卡激活的默认应用切换器，以将其替换为我自己的。我在thisanswer中看到我可以使... 查看详情
如何在颤动中禁用切换选项卡
】如何在颤动中禁用切换选项卡【英文标题】：Howtodisabledswitchtabinflutter【发布时间】：2021-03-3112:50:19【问题描述】：在我的帮助页面中，我有这个开关选项卡，但我想知道如何禁用它，以便当用户单击“趋势”一词时，它不会... 查看详情
javascript输入时禁用切换(代码片段)
查看详情
动态启用和禁用切换按钮
】动态启用和禁用切换按钮【英文标题】：dynamicallyenableanddisabletogglebutton【发布时间】：2020-04-1903:48:06【问题描述】：这里是切换按钮的html<divclass="togglebtnbtn-default"data-toggle="toggle"data-bind="toggle:address(),css:off:!address()enable:IsItNeed... 查看详情
切换启用/禁用本地通知（swift 4）
】切换启用/禁用本地通知（swift4）【英文标题】：Switchtoenable/disablelocalnotifications(swift4)【发布时间】：2018-11-0512:13:26【问题描述】：我正在制作一个Todo应用程序，并且应该在应用程序设置内部有一个切换按钮来启用/禁用所有本... 查看详情
java示例代码_从切换按钮启用/禁用声音
java示例代码_从切换按钮启用/禁用声音 查看详情
在切换视图时禁用 CanExecute
】在切换视图时禁用CanExecute【英文标题】：DisableCanExecuteonswitchingviews【发布时间】：2021-07-2220:25:09【问题描述】：我有一个静态属性来跟踪我的视图模型中的属性变化：publicstaticclassGlobalpublicstaticintWarninggetreturn_warning;set_warning=va... 查看详情
使用 jquery 切换 LinkButton 的启用/禁用状态
】使用jquery切换LinkButton的启用/禁用状态【英文标题】：Togglingenabled/disabledstateofaLinkButtonusingjquery【发布时间】：2012-10-2105:20:20【问题描述】：我有一个需要使用jquery启用或禁用的LinkButton（最初禁用），但似乎使用我正... 查看详情
在启用和禁用广告之间切换，IDFA 问题
】在启用和禁用广告之间切换，IDFA问题【英文标题】：Switchingbetweenenabledanddisabledads,IDFAissue【发布时间】：2014-05-0607:10:43【问题描述】：我正在开发一个有两个版本的应用程序。有广告的免费版，没有广告的付费版。我在两者之... 查看详情
如何在 UIImagePickerController 中禁用后/前摄像头切换选项？
】如何在UIImagePickerController中禁用后/前摄像头切换选项？【英文标题】：Howtodisablerear/frontcameraswitchingoptioninUIImagePickerController?【发布时间】：2016-11-0704:17:28【问题描述】：我正在构建一个应用程序来使用UIImagePickerController捕获图... 查看详情
禁用数据切换元素中链接的折叠
】禁用数据切换元素中链接的折叠【英文标题】：Disablecollapseforlinkinadata-toggleelement【发布时间】：2014-07-3005:01:47【问题描述】：我有一个折叠面板主体，像这样（thefiddle，现在有固定代码）：<divclass="panelpanel-default"><divcla... 查看详情
如何禁用对话框“切换到”-“重试”-“取消”
】如何禁用对话框“切换到”-“重试”-“取消”【英文标题】：Howtodisabledialog"switchto"-"retry"-"cancel"【发布时间】：2012-08-1615:19:08【问题描述】：两个进程之间通信，经常弹出无聊对话框“此操作无法完成... 查看详情
从另一个场景切换启用/禁用 MenuItem javafx？
】从另一个场景切换启用/禁用MenuItemjavafx？【英文标题】：Toggleenable/disableMenuItemjavafxfromanohterscene?【发布时间】：2015-11-0213:44:02【问题描述】：好像我从来没有从FXML得到正确的参考。FXML文件：<MenuBarxmlns:fx="http://javafx.com/fxml/1"... 查看详情
reactjs在地图功能内切换启用/禁用按钮
】reactjs在地图功能内切换启用/禁用按钮【英文标题】：reactjstoggleenable/disablebuttoninsidemapfunction【发布时间】：2021-02-1005:06:57【问题描述】：我有一个地图功能，它可以旋转两个按钮A和D。我的问题是我正在尝试切换A和D的活动状... 查看详情
为 WiFi 连接禁用三星“自动网络切换”
】为WiFi连接禁用三星“自动网络切换”【英文标题】：DisablingSamsung"AutoNetworkSwitch"forWiFiConnection【发布时间】：2013-12-3108:17:44【问题描述】：在我们的应用程序中，我们处理启动与设备的WiFi连接，该设备广播自己的无线... 查看详情