用python+sklearn(机器学习)实现天气预报准备(代码片段)

Eritquearcus Eritquearcus     2022-12-14     544

关键词:

用python+sklearn机器学习实现天气预报 准备

项目地址

github项目:PYWeatherReport

系列教程

机器学习参考篇: python+sklearn+kaggle机器学习
用python+sklearn(机器学习)实现天气预报 准备
用python+sklearn(机器学习)实现天气预报数据 数据
用python+sklearn(机器学习)实现天气预报 模型和使用

0.流程介绍

爬虫爬取去年今日的半个月前到去年今日的下个半个月的每日天气数据做训练集和训练验证集,爬取现在半个月前到现在的每日天气数据做预测数据集 -> 数据预处理 -> 训练模型和预测
机器学习过程可参考上面那篇

1. 环境搭建

a.python

如题,要使用python+sklearn做,所以肯定要搭建好python的环境,教程百度有很多,建议用python3.*

b.涉及到的机器学习相关库

安装命令:

pip install 库名

sklearn

本教程运用的机器学习核心库

panda

读取csv相关

seaborn

数据可视化,生成图表如折线图等

joblib

保存和读取训练好的模型,*.pkl文件

2.寻找数据来源

做机器学习我们需要尽量多和准确的数据,本次实例从www.meteomanz.com获取免费的天气数据

3.分析数据源网址规则

我们访问上一步的网站,可以发现有选择城市和时间的接口(PS:右上角的链接可以切换成英文)

接下来我们选择我们要做天气预报的城市和顺便一个时间点,如广州(PS:在选择框直接输入城市的前几个字符可以快速索引)

然后点按钮,我们会跳转到一个网页

这个就是我们要取到的数据了的地址,不过时间不对,接下来解析这个网址的规则,如

http://www.meteomanz.com/sy2?l=1&cou=2250&ind=59287&d1=13&m1=12&y1=2020&d2=13&m2=12&y2=2020

这里面

  • ?前的分别是http://网络协议,www.meteomanz.com域名,/sy2地址,我们主要关注?后的参数
  • l是语言参数,l=1指英语
  • couind是地区和城市代码
  • d1m1y1是时间段的开始年月日
  • d2m2y2是时间段的结束年月日

所以

http://www.meteomanz.com/sy2?l=1&cou=2250&ind=59287&d1=02&m1=02&y1=2019&d2=13&m2=12&y2=2020

指从2019/2/2到2020/12/13的广州的每日天气数据,不要忘记里面月和日是要补0的,但是进去就发现最多给30天的数据,所以我们以后并不会用到怎么多天的数据

4.分析页面规则

获取到网址规则后,分析页面规则用于爬虫匹配数据,按F12打开开发者工具

如图,我们可以发现rbody里面的第二个tr标签里面的每个td里是数据(PS:用右上角的左边第一个小按钮然后点击那些数据)。

当我们知道了这些规则,接下来就可以写爬虫爬取符合条件的数据集了。

下一篇https://blog.csdn.net/qq_40832960/article/details/111182425

用python+sklearn(机器学习)实现天气预报数据模型和使用(代码片段)

用python+sklearn机器学习实现天气预报模型和使用项目地址系列教程0.前言1.建立模型a.准备引入所需要的头文件选择模型选择评估方法获取数据集b.建立模型c.获取模型评估结果d.用joblib模块保存模型e.封装2.总控代码使用方法3.最... 查看详情

机器学习贝叶斯分类器代码实现(python+sklearn)

查看详情

sklearn实现一元线性回归python机器学习系列(代码片段)

sklearn实现一元线性回归【Python机器学习系列(五)】文章目录1.获取数据2.线性回归模型大家好,我是侯小啾! 本期blog分享的内容是通过sklearn库实现一元线性回归。相比上篇blog中介绍的梯度下降法中较为复杂... 查看详情

机器学习svm多分类问题及基于sklearn的python代码实现

SVM多分类问题及Python代码实现1.什么是SVM?2.SVM的分类3.SVM决策函数类型4.SVM多分类的Python代码实现参考资料1.什么是SVM?对于这个点已经介绍的非常多了,不管是西瓜书还是各种博客,就是需要找到一个超平面,用这个超平面把... 查看详情

sklearn实现逻辑回归_以python为工具python机器学习系列(代码片段)

sklearn实现逻辑回归_以python为工具【Python机器学习系列(十)】文章目录1.线性逻辑回归2.非线性逻辑回归3.乳腺癌数据集案例      ʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯... 查看详情

sklearn了解一下

  sklearn是机器学习中一个常用的python第三方模块,网址:http://scikit-learn.org/stable/index.html,里面对一些常用的机器学习方法进行了封装,在进行机器学习任务时,并不需要每个人都实现所有的算法,只需要简单的调用sklearn里... 查看详情

sklearn库

...。依赖Python和NumPy、SciPy、matplotlib库。是开源和可复用的Sklearn是Scikit-learn的简称,是基于Python的第三方模块,集成了常用的机器学习方法,在进行学习任务时,并不需要实现算法,只需要简单的调用库中提供的模块就能完成大多... 查看详情

机器学习sklearn学习总结(代码片段)

Sklearn学习资料推荐:sklearn中文文档机器学习入门必看:使用scikit-learn构建模型的通用模板Python机器学习笔记:常用评估模型指标的用法 Sklean介绍 sklearn是机器学习中一个常用的python第三方模块,里面对一些常用... 查看详情

python机器学习《机器学习python实践》整理,sklearn库应用详解(代码片段)

TableofContents1  初始1.1  初识机器学习1.2  python机器学习的生态圈1.3  第一个机器学习项目1.3.1  机器学习中的helloworld项目1.3.2  导入数据1.3.3  概述数据1.3.4  数据可视化1.3.5  评估算法1.3.5.1  分离评估数据集1.3.5.2  创... 查看详情

用pickle加速sklearn/机器学习的分类任务?

】用pickle加速sklearn/机器学习的分类任务?【英文标题】:Speedupclassificationtaskonsklearn/MachineLearningwithpickle?【发布时间】:2016-01-0311:58:32【问题描述】:我已经训练了一个分类器,可以通过pickle加载。我的主要疑问是是否有任何东... 查看详情

sklearn库的安装

sklearn库sklearn是scikit-learn的简称,是一个基于Python的第三方模块。sklearn库集成了一些常用的机器学习方法,在进行机器学习任务时,并不需要实现算法,只需要简单的调用sklearn库中提供的模块就能完成大多数的机器学习任务。sk... 查看详情

机器学习算法的sklearn实现(代码片段)

1.获取数据1.1导入sklearn数据集  sklearn中包含了大量的优质的数据集,在你学习机器学习的过程中,你可以通过使用这些数据集实现出不同的模型,从而提高你的动手实践能力,同时这个过程也可以加深你对理论知识的理解和... 查看详情

sklearn|学习总结

1简介scikit-learn,又写作sklearn,是一个开源的基于python语言的机器学习工具包。它通过NumPy,SciPy和Matplotlib等python数值计算的库实现高效的算法应用,并且涵盖了几乎所有主流机器学习算法。 SKlearn官网:http://scikit-learn.org/stable... 查看详情

机器学习 - 使用 sklearn

】机器学习-使用sklearn【英文标题】:MachineLearning-withsklearn【发布时间】:2019-06-1318:51:33【问题描述】:我正在编写一段基本的股票预测代码,但是我不断收到以下错误。AttributeError:\'function\'对象没有属性\'train_test_split\'除此之... 查看详情

基于sql语言实现机器学习以及深度学习(代码片段)

...应该还是少数的,一般使用场景也都是使用Python调用sklearn实现一些简单的机器学习。很少有喜欢科研的朋友从底层手撕数学算法写完实现整个算法,我认识的一些同事朋友几乎都是直接调用sklearn实现,确实现在也是... 查看详情

python机器学习使用sklearn模块出错,求解答

...装Cython,网上下载后进行本地安装pythonsetup.pyinstall2下载Sklearn包,进行本地安装(使用pip或easy_install总是出错,如cannotimportmurmurhash3_32,最终本地安装成功)3安装后可用nosetests-vsklearn来进行测试参考技术A1首先需要安装Cython,网... 查看详情

sklearn监督学习(代码片段)

本系列博文是根据SKlearn的一个学习小结,并非原创!                     1.直接学习TensorFlow有点不知所措,感觉需要一些基础知识做铺垫。                     2.之前机... 查看详情

机器学习sklearn(十七):特征工程特征选择卡方选择卡方检验(代码片段)

...用卡方检验实现特征选择。1.首先import包和实验数据:fromsklearn.feature_selectionimportSelectKBestfromsklearn.feature_selectionimportchi2fromsklearn.datasetsimportload_iris#导入IR 查看详情