正文 

当前位置： 首页 > java > java框架

从教务网爬虫程序到腾讯云上的运行

qws-1216      2022-02-14     185

关键词：

从教务网爬虫程序到腾讯云上的运行

主要内容有以下几方面：

  • pip3以及相关python包的安装
  • mysql数据库的连接以及相关操作
  • 腾讯云服务器的设置与连接，文件传输等操作

pip3以及相关python包的安装

在使用python3时，需要安装对应的pip版本，即pip3.ubuntu系统下的安装方式如下：
$ sudo apt-get install python3-pip
安装完成后就可以使用pip3来安装相应的python包，如requests包的安装方式如下：
$ sudo pip3 install requests
*当pip3从低版本升级到10.0后会出现cannot import name ‘main‘的问题，具体的解决步骤参考大佬博客，链接如下：
https://blog.csdn.net/qq_31643159/article/details/80045275*

mysql数据库的连接以及相关操作

在此次设计中，mysql数据库主要用于邮箱帐号存储，通知的存储（用于和下次爬取的数据进行比较，每次爬取完成后都对其进行更新）。在使用mysql数据库之前，需要安装pymysql包。

  1. mysql数据库的连接：
    con = pymysql.connect(host=‘localhost‘, user=‘root‘, passwd=‘****‘, db=‘JwLib‘, charset=‘utf8‘)

  2. 游标的创建：
    cursor = con.cursor()
  3. 相关操作的执行：
    cursor.execute("select TopTitle from TopNotice")
    cursor.execute("***************")

  4. 关闭游标与数据库
    cursor.close()
    con.close()

腾讯云服务器设置，连接，文件传输等操作

云服务器的使用需要进行购买，目前有阿里云，腾讯云等

  1. 在利用服务器进行邮件发送操作时，大多时候都会失败，因为腾讯云服务器是默认关闭了25号端口的，需要自行申请解封。解封方式比较简单，进入云服务器控制台，点击个人帐号即会出现25号端口解封的引导。

  2. 将编辑好的程序文件从ubuntu上传至服务器
    scp /home/qiao/python_file/test.py [email protected]***.152.***.1**:/home/ubuntu/python_file
    @后面的内容是云服务器的ip,执行上述命令之后，输入对应的密码即可（密码不可见）
    执行之后，即可将/home/qiao/python_file/test.py文件上传至服务器的/home/ubuntu/python_file文件夹下。

  3. ubuntu16.04登录云服务器(ubuntu系统)的命令如下：
    ssh [email protected]***.142.***
    @后面的内容是云服务器的ip,执行上述命令之后，输入对应的密码即可（密码不可见）。完毕之后就可以看到服务器的终端，然后进行相应的操作啦。

  4. 在云服务器上让程序一直不停地运行下去，命令如下：
    sudo nohup python3 test.py &
    采用nohup和&的结合操作，可以达到一直不停地运行的目的，可以关闭服务器终端，退出控制台等，程序都将运行下去，但必须保证服务器处于正常开机运行的状态。



















搭建seafile专属网盘

...任务时间：15min~20min域名注册如果您还没有域名，可以在腾讯云上选购，过程可以参考下面的视频。视频-在腾讯云上购买域名域名解析域名购买完成后,需要将域名解析到实验云主机上，实验云主机的IP为：<您的CVMIP地址>在... 查看详情

云上的freeradius服务器

】云上的freeradius服务器【英文标题】：freeradiusserveroncloud【发布时间】：2019-02-2823:05:04【问题描述】：我在Ubuntu机器上本地使用免费的radius服务器，并且我的系统运行良好。我想让我的系统从云端运行开始销售，但我不知道如何... 查看详情

腾讯云logstash实战1-同步两个elasticsearch集群中的数据

...群中的数据，比如把数据从自建的Elasticsearch集群同步到腾讯云上的Elasticsearch集群，或者同步两个腾讯云上的Elasticsearch集群中的数据。本文介绍如何使用腾讯云Logstash产品，同步两个Elasticsearch集群中的数据。在“管道管理”页面... 查看详情

云上的应用程序安全性不检查加密

】云上的应用程序安全性不检查加密【英文标题】：ApplicationSecurityonCloudNotcheckingforencryption【发布时间】：2017-02-0415:44:42【问题描述】：我有一个包含登录身份验证的安卓应用程序，我没有将加密的用户名和密码发送到后端进行... 查看详情

如何从 bitbucket 云上的 bitbucket 存储库获取 HTTP 访问令牌

...HTTP访问令牌，它允许我在另一个存储库中构建nodeJS应用程序时从中提取模块。过去这是通过使用其中一名员工的个人访问令牌完 查看详情

爬虫从入门到放弃——爬虫的基本原理(代码片段)

 爬虫的基本原理：https://www.cnblogs.com/zhaof/p/6898138.html这个文章写的非常好，把爬虫的基本思路解释的很清楚的。 一、介绍工具（用什么爬）1、PythonIDLE就是用了创建、运行、测试和调试python的工具。集成开发环境：用于... 查看详情

裸机/私有云上的 Kubernetes 存储

】裸机/私有云上的Kubernetes存储【英文标题】：KubernetesStorageonbare-metal/privatecloud【发布时间】：2015-07-0401:50:43【问题描述】：我刚开始在2个私有云服务器上设置2个节点（主从）上的Kubernetes。我已经安装了它，做了基本的配置，... 查看详情

爬虫从入门到放弃-纯新手学习-爬虫基本原理(代码片段)

1.什么是爬虫？请求网站并提取数据的自动化程序请求：客户端向服务端发送请求获得网页资源，是一段html代码，包含html标签和一段信息。提取：提取出想要的信息，然后将结构化的数据存储到文本自动化：写完程序一直运行... 查看详情

人生苦短，我用python--爬虫模拟登陆教务处并且保存数据到本地(代码片段)

刚开始接触Python，看很多人玩爬虫我也想玩，找来找去发现很多人用网络爬虫干的第一件事就是模拟登陆，增加点难度就是模拟登陆后在获取数据，但是网上好少有Python3.x的模拟登陆Demo可以参考，加上自己也... 查看详情

通过阿里云拉取google云上的镜像

在创建kubernetes集群时需要一些Google云上的镜像国内拉取不了Google云上的镜像，所以我们想到了阿里云，因为阿里云服务器在美国，所以我们去阿里云上的构建镜像的功能拉取国外的镜像，然后再从阿里云上拉取到本地话不多说... 查看详情

ubuntu阿里云上的redis是一直运行的吗

...过命令redis-server启动，可在命令后加上`&`号使redis以后台程序方式运行；方式二：通过指定配置文件启动；redis-server/etc/redis/redis.conf默认安装的路径已经加入环境变量中，可直接在命令行执行命令；五、命令客户端检测链接1、连... 查看详情

git

...在本地）（二）commit完之后，把本地私有库的代码提交到云上的私有库：fork的私有库（三）本地私有库的这个分支，push到云上的库，fork私有库的这个分支（留意一下第一步的提交路径，到本地私有库的同样分支）（四）云上的... 查看详情

网络爬虫技术

1、爬虫技术概述 网络爬虫（Webcrawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网... 查看详情

怎么用python爬虫写一个抢课软件

...es，这样就很方便地处理登录时的cookies问题。你需要找到教务网登录按钮提交的地址，把你的学号和密码弄到一个字典里发出去，然后就登录成功了。2.找到选课页面，分析选课页面可以发现，选课页面的url一般是一个前缀加课... 查看详情

python爬虫获取强智科技教务系统学科成绩（模拟登录+成绩获取）

​​python爬取强智科技教务系统，以江苏科技大学为例：本人开发的系统作为参考：​​​​https://www.wjn1996.cn/estudy/tools/educationLogin.jsp?school=10289&search=1​​以本人账号为例： 程序如下，保存为test.py，cmd命令执行python3test.... 查看详情

如何从服务器上的 php 文件中获取 json 数据到 Flutter 应用程序

】如何从服务器上的php文件中获取json数据到Flutter应用程序【英文标题】：Howtogetthejsondatafromaphpfileontheservertotheflutterapp【发布时间】：2019-11-0423:22:15【问题描述】：我的大学服务器上托管了一个php文件，当我在服务器上运行此文... 查看详情

在阿里云上搭建一个简单的node服务器

一、阿里云服务器以及node环境的搭建　　服务器可以去阿里云官网购买一个ECS云服务器，价格还是有点小贵的，如果想使用免费的阿里云服务器，那么阿里云官网每天也是有抢免费的服务器的，每天上午十点，新人能抢到为期... 查看详情

通过 API 从云上的 DB2 获取 SQL 结果到 Power Query

】通过API从云上的DB2获取SQL结果到PowerQuery【英文标题】：GetSQLresultsfromDB2oncloudtoPowerQueryviaAPI【发布时间】：2021-09-0920:18:00【问题描述】：我尝试通过ExcelPowerQuery连接到云上的db2。基于documentation，这是curl请求的格式：curl-XPOSThttps... 查看详情