Python人工智能之波士顿房价数据分析

 更新时间:2021年11月06日 09:40:03   作者:mind_programmonkey  
买房应该是大多数都会要面临的一个选择,当前经济和政策背景下,未来房价会涨还是跌?这是很多人都关心的一个话题。今天分享的这篇文章,以波士顿的房地产市场为例,根据低收入人群比例、老师学生数量等特征,利用 Python 进行分析,不求买房但求技术

【人工智能项目】机器学习热门项目-波士顿房价

在这里插入图片描述

1.数据概览分析

1.1 数据概览

本次提供:

  • train.csv,训练集;
  • test.csv,测试集;
  • submission.csv 真实房价文件;

训练集404行数据,14列,每行数据表示房屋以及房屋周围的详细信息,已给出对应的自住房平均房价。要求预测102条测试数据的房价。

1.2 数据分析

通过学习房屋以及房屋周围的详细信息,其中包含城镇犯罪率,一氧化氮浓度,住宅平均房间数,到中心区域的加权距离以及自住房平均房价等等,训练模型,通过某个地区的房屋以及房屋周围的详细信息,预测该地区的自住房平均房价。

回归问题,提交测试集每条数据对应的自住房平均房价。评估指标为均方误差mse。

2. 项目总体思路

2.1 数据读取

数据集:波士顿房间训练集.csv (404条数据)
数据集字段如下:
CRIM:城镇人均犯罪率。
ZN:住宅用地超过 25000 sq.ft. 的比例。
INDUS:城镇非零售商用土地的比例。
CHAS:查理斯河空变量(如果边界是河流,则为1;否则为0)。
NOX:一氧化氮浓度。
RM:住宅平均房间数。
AGE:1940 年之前建成的自用房屋比例。
DIS:到波士顿五个中心区域的加权距离。
RAD:辐射性公路的接近指数。
TAX:每 10000 美元的全值财产税率。
PTRATIO:城镇师生比例。
B:1000(Bk-0.63)^ 2,其中 Bk 指代城镇中黑人的比例。
LSTAT:人口中地位低下者的比例。
MEDV:自住房的平均房价,以千美元计。

在这里插入图片描述

2.2 模型预处理

(1)数据离群点处理

首先对训练集进行拆分为子训练集与子测试集,利用train_data.sort_values对训练集进行排序,依次删除每个特征对应的离群样本,利用子训练集与子测试集对模型进行训练与测试并确定该特征下所需删除样本的最佳个数。

在这里插入图片描述

(2)数据归一化处理

利用sklearn.preprocessing. StandardScaler对数据集与标签分别进行标准化处理。

在这里插入图片描述

2.3. 特征工程

利用随机森林特征选择算法剔除不敏感特征。

在这里插入图片描述

2.4. 模型选择

使用GradientBoostingRegressor集成回归模型。

Gradient Boosting 在迭代的时候选择梯度下降的方向来保证最后的结果最好。损失函数用来描述模型的“靠谱”程度,假设模型没有过拟合,损失函数越大,模型的错误率越高

如果我们的模型能够让损失函数持续的下降,则说明我们的模型在不停的改进,而最好的方式就是让损失函数在其梯度方向上下降。

在这里插入图片描述

在这里插入图片描述

2.5. 模型评价

采用均方误差(MSE)评分标准,MSE: Mean Squared Error 。均方误差是指参数估计值与参数真值之差平方的期望值;

MSE可以评价数据的变化程度,MSE的值越小,说明预测模型描述实验数据具有更好的精确度。计算公式如下:

在这里插入图片描述

其在测试集上的MSE值为:

在这里插入图片描述

2.6. 模型调参

对n_ n_estimators的参数进行调参:

在这里插入图片描述

3. 项目总结

通过多次实验,我们目前得到的最优解为8.18左右。在处理小数据集出现过拟合时,首先应当考虑减小模型或增加数据集。由于本次实验是通过大量训练取最优的办法均使用缺省参数,对超参数进一步调优也许可更进一步。

在这里插入图片描述

到此这篇关于Python人工智能之波士顿房价数据分析的文章就介绍到这了,更多相关Python 波士顿房价内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Python使用__new__()方法为对象分配内存及返回对象的引用示例

    Python使用__new__()方法为对象分配内存及返回对象的引用示例

    这篇文章主要介绍了Python使用__new__()方法为对象分配内存及返回对象的引用,结合实例形式分析了Python对象初始化及内存操作相关使用技巧,需要的朋友可以参考下
    2019-09-09
  • Python做智能家居温湿度报警系统

    Python做智能家居温湿度报警系统

    本文为大家带来了Python通过HTTP协议做一个廉价的温湿度报警系统。感兴趣的朋友跟随小编一起看看吧
    2018-09-09
  • Pandas中八个常用option设置的示例详解

    Pandas中八个常用option设置的示例详解

    通过pandas的使用,我们经常要交互式地展示表格(dataframe)、分析表格。本文整理了8个常用的配置选项,使用可以提高很多效率,需要的可以参考一下
    2022-06-06
  • Python中列表的基本操作汇总

    Python中列表的基本操作汇总

    这篇文章主要介绍了python中列表的一些基本操作,文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的小伙伴可以参考一下
    2022-10-10
  • python实现简单淘宝秒杀功能

    python实现简单淘宝秒杀功能

    这篇文章主要为大家详细介绍了python实现简单淘宝秒杀功能,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-05-05
  • 利用机器学习预测房价

    利用机器学习预测房价

    这篇文章主要介绍了利用机器学习回归模型预测房价,解释清晰,代码详细,是很不错的机器学习实战演练,对机器学习感兴趣的朋友可以参考一下
    2021-04-04
  • 基于python进行桶排序与基数排序的总结

    基于python进行桶排序与基数排序的总结

    今天小编就为大家分享一篇基于python进行桶排序与基数排序的总结,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05
  • Python 整行读取文本方法并去掉readlines换行\n操作

    Python 整行读取文本方法并去掉readlines换行\n操作

    这篇文章主要介绍了Python 整行读取文本方法并去掉readlines换行\n操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-09-09
  • Flask框架通过Flask_login实现用户登录功能示例

    Flask框架通过Flask_login实现用户登录功能示例

    这篇文章主要介绍了Flask框架通过Flask_login实现用户登录功能,结合实例形式较为详细的分析了flask框架使用Flask_login实现用户登陆功能的具体操作步骤、相关实现技巧与操作注意事项,需要的朋友可以参考下
    2018-07-07
  • 将python安装信息加入注册表的示例

    将python安装信息加入注册表的示例

    今天小编就为大家分享一篇将python安装信息加入注册表的示例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-11-11

最新评论