关键词：
https://blog.csdn.net/SiHann/article/details/88239892
突然接到一个项目是关于pyspider，遇到了一些小坑，百度一下发现并没有很好的解决所以研究了一下。
我所使用的python版本是3.6.8，因为pyspider是对pip有版本要求的，所以自动升级一下。
升级pip
•# pip install –upgrade pip
一切配置好之后，就在CMD中运行 pyspider all 来看能否跑起来。
这是成功的样子，说明可以了。
不过路上谁能不遇坑，人家各种成功，到了我这里就是各种错误，我就把这些错误整合一下。
首先第一个错误：python3.7不兼容pyspider问题(出现占用关键字的问题)
Python 3.5中引入了async和await，它们在Python 3.7中成为关键字。
所以需要替换一下关键字。
第二个问题也就是我遇到的问题：[[email protected] python]# pyspider all
[W 180629 07:08:26 run:413] phantomjs not found, continue running without it.
[I 180629 07:08:29 result_worker:49] result_worker starting…
[I 180629 07:08:31 processor:211] processor starting…
[I 180629 07:08:31 tornado_fetcher:638] fetcher starting…
[I 180629 07:08:31 scheduler:675] scheduler starting…
[I 180629 07:08:31 scheduler:614] in 5m: new:0,success:0,retry:0,failed:0
[I 180629 07:08:31 scheduler:810] scheduler.xmlrpc listening on 127.0.0.1:23333
[I 180629 07:08:32 app:84] webui exiting…
Traceback (most recent call last):
File “/root/.pyenv/versions/3.6.5/bin/pyspider”, line 11, in
load_entry_point(‘pyspider==0.3.10’, ‘console_scripts’, ‘pyspider’)()
File “/root/.pyenv/versions/3.6.5/lib/python3.6/site-packages/pyspider-0.3.10-py3.6.egg/pyspider/run.py”, line 754, in main
cli()
File “/root/.pyenv/versions/3.6.5/lib/python3.6/site-packages/click-6.7-py3.6.egg/click/core.py”, line 722, in call
return self.main(*args, **kwargs)
File “/root/.pyenv/versions/3.6.5/lib/python3.6/site-packages/click-6.7-py3.6.egg/click/core.py”, line 697, in main
rv = self.invoke(ctx)
File “/root/.pyenv/versions/3.6.5/lib/python3.6/site-packages/click-6.7-py3.6.egg/click/core.py”, line 1066, in invoke
return _process_result(sub_ctx.command.invoke(sub_ctx))
File “/root/.pyenv/versions/3.6.5/lib/python3.6/site-packages/click-6.7-py3.6.egg/click/core.py”, line 895, in invoke
return ctx.invoke(self.callback, **ctx.params)
File “/root/.pyenv/versions/3.6.5/lib/python3.6/site-packages/click-6.7-py3.6.egg/click/core.py”, line 535, in invoke
return callback(*args, **kwargs)
File “/root/.pyenv/versions/3.6.5/lib/python3.6/site-packages/click-6.7-py3.6.egg/click/decorators.py”, line 17, in new_func
return f(get_current_context(), *args, **kwargs)
File “/root/.pyenv/versions/3.6.5/lib/python3.6/site-packages/pyspider-0.3.10-py3.6.egg/pyspider/run.py”, line 497, in all
ctx.invoke(webui, **webui_config)
File “/root/.pyenv/versions/3.6.5/lib/python3.6/site-packages/click-6.7-py3.6.egg/click/core.py”, line 535, in invoke
return callback(*args, **kwargs)
File “/root/.pyenv/versions/3.6.5/lib/python3.6/site-packages/click-6.7-py3.6.egg/click/decorators.py”, line 17, in new_func
return f(get_current_context(), *args, **kwargs)
File “/root/.pyenv/versions/3.6.5/lib/python3.6/site-packages/pyspider-0.3.10-py3.6.egg/pyspider/run.py”, line 384, in webui
app.run(host=host, port=port)
File “/root/.pyenv/versions/3.6.5/lib/python3.6/site-packages/pyspider-0.3.10-py3.6.egg/pyspider/webui/app.py”, line 59, in run
from .webdav import dav_app
File “/root/.pyenv/versions/3.6.5/lib/python3.6/site-packages/pyspider-0.3.10-py3.6.egg/pyspider/webui/webdav.py”, line 216, in
dav_app = WsgiDAVApp(config)
File “/root/.pyenv/versions/3.6.5/lib/python3.6/site-packages/WsgiDAV-3.0.0a2-py3.6.egg/wsgidav/wsgidav_app.py”, line 122, in init
_check_config(config)
File “/root/.pyenv/versions/3.6.5/lib/python3.6/site-packages/WsgiDAV-3.0.0a2-py3.6.egg/wsgidav/wsgidav_app.py”, line 104, in _check_config
raise ValueError("Invalid configuration:
- " + "
- ".join(errors))
ValueError: Invalid configuration:
Deprecated option ‘domaincontroller’: use ‘domain_controller’ instead.
这是我遇到的，然后网上居然没有特别明显的解决，费劲千辛万苦才查到，这是WsgiDAV发布了版本 pre-release 3.x导致的，所以只要把版本降下来就好了。
将wsgidav替换为2.4.1
•# python -m pip install wsgidav==2.4.1
然后运行 pyspider all 发现居然可以了。上一张成功的图片。
然后很欢快的打开浏览器输入：localhost：5000
cordova打包遇到的一些坑
...，不然甩个链接， ，所以下次编译时，出现如上错误，先看看图片命名有没有问题 2.buildandroid总是报如下错误：mergeArmv 查看详情
docker快速搭建分布式爬虫pyspider(代码片段)
简介pyspider是Python中强大Web爬虫框架，并且支持分布式架构。为什么使用docker搭建pyspider在安装pyspider时爬过一些坑，比如使用pipinstallpyspider时，python的版本要求在3.6及以下，因为async等已经是python3.7的关键字；使用gitclone代码安... 查看详情
pyspider初次使用pyspider遇到的问题
《python爬虫开发与项目实践》里最后一章介绍了pyspider的使用。然鹅。。我刚开始就报错了：Exception:HTTP599:SSLcertificateproblem:unabletogetlocalissuercertificate网上一查发现，原因是：这个错误会发生在请求https开头的网址，SSL验证错误，... 查看详情
cat集成项目所遇到的一些坑
第一个问题：（jar包依赖冲突）启动报错，直接贴logzhengxin-third-shanghai-cis[2017-08-2114:17:49]56231WARN[main]-AnnotationConfigEmbeddedWebApplicationContext:487:Exceptionencounteredduringcontextinitialization-cancellingre 查看详情
rocketmq安装遇到的一些坑
...jdk1.8 rocketMQ包为：rocketmq-all-4.4.0-bin-release.zip 启动NAMESERVER 进入至‘MQ文件夹\bin’下，然后执行‘nohupshmqnamesrv&’，启动NAMESERVER。 查看日志的命令：tail-f~/logs/rocketmqlogs/namesrv.log启动BROKER进入至‘MQ... 查看详情
reactnative在开发过程中遇到的一些问题(俗称:坑)
4900服务器地址错误运行时产生以下错误:Couldnotconnecttodevelopmentserver.1、URL地址设置问题:[objc] viewplain copyCould not connect to development server. Ensure 查看详情
ssh远程执行遇到的一些坑
...ython去调用脚本 二、命令行写法第1种写法，死活没法启动服务；所以尽量别用sh命令去启动脚本(虽然本地能成功启动)1：sshpass-pxxxsshroot@xxx.xxx.xxx.xxxsh /mnt/home/deploy/credit/pld-risk/service.shservicestart2：sshpass-pxxxsshroot@xxx.18.xxx.140... 查看详情
吐血经验在windows上安装spark遇到的一些坑|避坑指南(代码片段)
...出来：凡是IDEA没有在我的脚本里明确指出哪行有问题的错误，都是因为版本不兼容。别犹豫，赶快检查版本。检查涉及到：基本的java环境：1. 查看详情
做一个.netcore小项目遇到的一些坑
...题，每次请求sessionid都会变，这就导致每次都提示验证码错误 解决办法：修改CookiePoli 查看详情
遇到的一些坑！(代码片段)
这次记录下安装tomcat9遇到的坑，今天我启动我的tomcat服务报错一大堆4、11-Feb-202018:34:32.223警告[main]org.apache.catalina.core.AprLifecycleListener.init基于APR的本地库加载失败.错误报告为[E:apache-tomcat-9.0.30-windows-x64apache-tomcat-9.0.30in cnative-1.dl... 查看详情
pyspider安装排坑指南
...Aubuntu20.x+python3.8解决：修改/usr/local/lib/python3.8/dist-packages/pyspider/run.py/usr/local/lib/python3.8/dist-packages/pyspider/fetcher/tornado_fetcher.py/usr/local/lib/python3.8/dist-packages/pyspider/webui/app.py中所有的async都修改该为async1即可解决降级werkzeug版本python... 查看详情
pyspider爬虫框架
...试，webUI管理，代码简洁，JS渲染安装：anaconda里边没搜到pyspider，所以手动安装 查看pyspider的命令： 启动pyspider所有组件：在启动之前，要先安装phantomjs浏览器，因为pyspider组件中有phantomjs组件。下载地址：http://phantomjs.or... 查看详情
我们的爬虫从pyspider开始说起
...来说这几天遇到的各种坑，好不容易找到了关于pyquery和pyspider的各种资料，准备敲到电脑上试试，结果出现了好几个问题。电脑上安装的是python3，代码是python2，转换 查看详情
关于k8s遇到的一些坑(代码片段)
...，是因为宕机重启之后相关服务未启（未添加自启动），手动启动systemctlrestartflanneld&&systemctlstatusflanneldsystemctlrestartkube-proxy&&systemctlstatuskube-proxysystemctlrestartkubelet&&systemctlstatuskubeletkubelet服务无法... 查看详情
遇到的一些坑
1.node.js中find和findOne区别findOne()返回的是一个对象，而find()返回的是一个数组，数组里面装着对象。findOne()返回的值前端只需要用data.name就能获取到，但find()返回的值前端要用data[i].name来获取。2.书写链接时发生重定向书写链接... 查看详情
antd的树形组件使用时遇到的一些坑
参考技术A解决方案：在treeData数据变化时确保组件重新渲染这里初始状态下treeData为空数组，length为0，这样确保数据请求回来后一定会重新渲染组件。 查看详情
xamarin开发中遇到的一些坑
1.XamarinAndroid真机调试时闪退模拟器或者测试机调试正常，软件安装到别的机器上程序闪退。引起此问题的原因一般是因为MonoSharedRuntime在手机上没有运行，这个程序相当于.net运行时，没有运行的话用C#开发的程序自然无法运行。... 查看详情
系统应用集成过程中的一些坑(代码片段)
...人员在集成新终端设备时提了个bug：app在这个设备上无法启动。随后抛来了一份日志，过滤了下，最重要的其实就一条，crash日志：java.lang.UnsatisfiedLinkError:Noimplementationfoundforlongcom.facebook.imagepipeline 查看详情