机器学习工程师-udacity项目1:预测波士顿房价(代码片段)

paulonetwo paulonetwo     2023-01-16     632

关键词:

第一步. 导入数据

在这个项目中,你将利用马萨诸塞州波士顿郊区的房屋信息数据训练和测试一个模型,并对模型的性能和预测能力进行测试。通过该数据训练后的好的模型可以被用来对房屋做特定预测---尤其是对房屋的价值。对于房地产经纪等人的日常工作来说,这样的预测模型被证明非常有价值。

此项目的数据集来自UCI机器学习知识库(数据集已下线)。波士顿房屋这些数据于1978年开始统计,共506个数据点,涵盖了麻省波士顿不同郊区房屋14种特征的信息。本项目对原始数据集做了以下处理:

有16个‘MEDV‘ 值为50.0的数据点被移除。 这很可能是由于这些数据点包含遗失或看不到的值。
有1个数据点的 ‘RM‘ 值为8.78. 这是一个异常值,已经被移除。
对于本项目,房屋的‘RM‘, ‘LSTAT‘,‘PTRATIO‘以及‘MEDV‘特征是必要的,其余不相关特征已经被移除。
‘MEDV‘特征的值已经过必要的数学转换,可以反映35年来市场的通货膨胀效应。

运行下面区域的代码以载入波士顿房屋数据集,以及一些此项目所需的 Python 库。如果成功返回数据集的大小,表示数据集已载入成功。

# Import libraries necessary for this project
import numpy as np
import pandas as pd
from sklearn.model_selection import ShuffleSplit

# Import supplementary visualizations code visuals.py
import visuals as vs

# Pretty display for notebooks
%matplotlib inline

# Load the Boston housing dataset
data = pd.read_csv(housing.csv)
prices = data[MEDV]
features = data.drop(MEDV, axis = 1)
    
# Success
print("Boston housing dataset has  data points with  variables each.".format(*data.shape))

Boston housing dataset has 489 data points with 4 variables each.

 

第二步. 分析数据

在项目的第一个部分,你会对波士顿房地产数据进行初步的观察并给出你的分析。通过对数据的探索来熟悉数据可以让你更好地理解和解释你的结果。

由于这个项目的最终目标是建立一个预测房屋价值的模型,我们需要将数据集分为特征(features)和目标变量(target variable)。

特征 ‘RM‘, ‘LSTAT‘,和 ‘PTRATIO‘,给我们提供了每个数据点的数量相关的信息。
目标变量:‘MEDV‘,是我们希望预测的变量。
他们分别被存在 features 和 prices 两个变量名中。

编程练习 1:基础统计运算
你的第一个编程练习是计算有关波士顿房价的描述统计数据。我们已为你导入了 NumPy,你需要使用这个库来执行必要的计算。这些统计数据对于分析模型的预测结果非常重要的。 在下面的代码中,你要做的是:

计算 prices 中的 ‘MEDV‘ 的最小值、最大值、均值、中值和标准差;
将运算结果储存在相应的变量中。

# TODO: Minimum price of the data
minimum_price = np.min(prices)

# TODO: Maximum price of the data
maximum_price = np.max(prices)

# TODO: Mean price of the data
mean_price = np.mean(prices)

# TODO: Median price of the data
median_price = np.median(prices)

# TODO: Standard deviation of prices of the data
std_price = np.std(prices)

# Show the calculated statistics
print("Statistics for Boston housing dataset:
")
print("Minimum price: $:.2f".format(minimum_price)) 
print("Maximum price: $:.2f".format(maximum_price))
print("Mean price: $:.2f".format(mean_price))
print("Median price $:.2f".format(median_price))
print("Standard deviation of prices: $:.2f".format(std_price))

Statistics for Boston housing dataset:

Minimum price: $105000.00
Maximum price: $1024800.00
Mean price: $454342.94
Median price $438900.00
Standard deviation of prices: $165171.13

问题 1 - 特征观察
如前文所述,本项目中我们关注的是其中三个值:‘RM‘、‘LSTAT‘ 和‘PTRATIO‘,对每一个数据点:













机器学习工程师-udacity深度学习

一、神经网络1.为了进行梯度下降,误差函数不能是离散的,而必须是连续的。误差函数必须是可微分的。同时,要将离散预测变成连续预测,方法是将激活函数从阶跃函数变成S函数。2.最大似然法:选出实际发生的情况所对应... 查看详情

机器学习工程师-udacity监督学习(代码片段)

一、线性回归1.线性回归:一种用于预测数值数据的非常有效的算法。假设直线为y=w1x+w2;点为(p,q)。调整直线的技巧:1)绝对值技巧:如果点在直线上方,y=(w1+pɑ)x+(w2+ɑ),其中ɑ为学习速率。点在直线下方,y=(w1-pɑ)x+(w2-ɑ)。p存... 查看详情

机器学习工程师-udacity机器学习基础

一、评估指标1.混淆矩阵: 查看详情

机器学习梯度下降法应用波士顿房价预测(代码片段)

目录1线性回归api介绍小结2波士顿房价预测2.1案例背景介绍2.2案例分析2.3回归性能评估2.4代码实现2.4.1正规方程2.4.2梯度下降法2.5小结1线性回归api介绍机器学习梯度下降算法:https://blog.csdn.net/ZGL_cyy/article/details/127037949sklearn.lin... 查看详情

hcia-ai_机器学习_波士顿房价预测(代码片段)

机器学习实验-波士顿房价预测1波士顿房价预测1.2实验代码1.2.1引入依赖包1.2.2加载数据集,查看数据属性,可视化1.2.3分割数据集,并对数据集进行预处理1.2.4利用各类回归模型,对数据集进行建模1.2.5利用网格搜... 查看详情

优达学城机器学习工程师纳米学位项目介绍

...纳米学位的一大亮点。本文将简要介绍优达学城机器学习工程师纳米学位的6个项目。项目覆盖了机器学习的主要领域,包括回归分析、分类、聚类、增强学习及深度学习。项目0:预测泰坦尼克号乘客生还率这个项目需要你手动地... 查看详情

机器学习工程师-udacity非监督学习parttwo

四、特征缩放1.特征缩放的优点:Andrew在他的机器学习课程里强调,在进行学习之前要进行特征缩放,目的是保证这些特征都具有相近的尺度,这将帮助梯度下降算法更快地收敛。python里常用的是preprocessing.StandardScaler(),公式为... 查看详情

机器学习实战——用线性回归预测波士顿房价

查看详情

波士顿房价预测——机器学习入门级案例(代码片段)

一、数据处理1.1数据集介绍本实验使用波士顿房价预测数据集,共506条样本数据,每条样本包含了13种可能影响房价的因素和该类房屋价格的中位数,各字段含义如下表所示:字段名类型含义CRIMfloat该镇的人均犯... 查看详情

机器学习实战二:波士顿房价预测bostonhousing(代码片段)

波士顿房价预测Bostonhousing这是一个波士顿房价预测的一个实战,上一次的Titantic是生存预测,其实本质上是一个分类问题,就是根据数据分为1或为0,这次的波士顿房价预测更像是预测一个连续值,当然这也是... 查看详情

机器学习算法:波士顿房价预测|黑马程序员(代码片段)

学习目标:通过案例掌握正规方程和梯度下降法api的使用1案例背景介绍数据介绍   给定的这些特征,是专家们得出的影响房价的结果属性。我们此阶段不需要自己去探究特征是否有用,只需要使用这些特征。到后... 查看详情

深度学习入门案例波士顿房价预测(代码片段)

人工智能,机器学习,深度学习做个简单介绍:三者的关系如图1所示,即:人工智能>机器学习>深度学习。深度学习设计框架:环境查看importpaddleimportnumpyasnpimportosimportmatplotlibimportmatplotlib.pyplotaspltimpor... 查看详情

机器学习工程师-udacity强化学习partthree

四、动态规划1.在动态规划设置中,智能体完全了解表示环境特性的马尔可夫决策流程(MDP)。(这比强化学习设置简单多了,在强化学习设置中,智能体一开始不知道环境如何决定状态和奖励,必须完全通过互动学习如何选择动... 查看详情

深度学习(波士顿房价预测)(代码片段)

...反向传播2.2.4优化算法3测试结果4完整源程序 1实验背景波士顿房价预测是一个经典的机器学习任务,类似于程序员世界的“HelloWorld”。和大家对房价的普遍认知相同,波士顿地区的房价是由诸多因素影响的。该数据集统... 查看详情

实战案例分享:我用python预测房价走势(代码片段)

...很多人都关心的一个话题。今天分享的这篇文章,以波士顿的房地产市场为例,根据低收入人群比例、老师学生数量等特征,利用Python进行了预测,给大家做一个参考。该分享源于Udacity机器学习进阶中的一个mini... 查看详情

构建决策树回归模型并预测样本的输出 - 机器学习

...】:我是机器学习的新手。当我使用来自scikit-learn模块的波士顿数据集练习具有默认参数的决策树回归模型时。在这个链接解决方案(HowtoBuildaDecis 查看详情

机器学习之利用线性回归预测波士顿房价和可视化分析影响房价因素实战(python实现附源码超详细)(代码片段)

...据是否在一定时期内增长或下降。接下来以线性回归预测波士顿房价进行实战解析线性回归代码如下importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.model_selectionimporttrain_test_split#读数据data=np.loadtxt(boston_house_price.csv',float,delimiter... 查看详情

机器学习预测facebook签到位置(代码片段)

...据集4.2基本数据处理4.3特征工程--特征预处理(标准化)4.4机器学习--knn+cv4.5模型评估1.项目描述本次比赛的目的是预测一个人将要签到的地方。为了本次比赛,Facebook创建了一个虚拟世界,其中包括10公里*10公里共100平方... 查看详情