Python如何实现拆分数据集
前言
训练模型之前一般需要把数据集拆分为训练集和测试集，使用python代码如何拆分的关键就是如何更方便的选择出自变量X和因变量Y。
加载数据
# 导入第三方模块 import pandas as pd # 读入数据 df = pd.read_csv(r'splitfeatures.csv') df.head()
如何选择出X和Y
最简单的方式一个一个选择
X = df[['age','sex','income','profession']] y = df['is_buy']
用iloc和loc选择
X1 = df.iloc[:,[0,1,2,4]] y1 = df.iloc[:,[3]] X2 = df.loc[:,['age','sex','income','profession']] y2 = df.loc[:,['is_buy']]
用drop选择
X3 = df.drop(['is_buy'],axis=1) y3 = df.is_buy
使用dataframe的colunms方法
col = df.columns[[0,1,2,4]] X4 = df.loc[:,col] X5 = df.iloc[:, df.columns != 'is_buy'] y5 = df.iloc[:, df.columns == 'is_buy']
使用model_selection拆分数据集
from sklearn import model_selection # 将数据集拆分为训练集和测试集 X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size = 0.2, random_state = 1234)
后记
看完上面的内容，应该对拆分数据集有了一个基本认识。
下面写一个较为完整的案例：
引入必要的库
在开始之前，我们需要引入一些必要的Python库，包括numpy和sklearn。
Numpy库用于处理数组和矩阵，而sklearn库则提供了数据集拆分的函数。
import numpy as np from sklearn.model_selection import train_test_split
加载数据集
首先，我们需要加载我们的数据集。
这里以一个简单的鸢尾花数据集为例。
from sklearn.datasets import load_iris iris = load_iris() X = iris.data y = iris.target
数据集
拆分使用sklearn库的train_test_split函数可以很方便地拆分数据集。
该函数会将数据集按一定的比例拆分为训练集和测试集。
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
这里的test_size参数表示要分割测试集所占的比例，通常约定为0.2或0.3。
而random_state参数用于设置随机种子，保证每次运行代码时得到的拆分结果是相同的。
拆分结果的验证
在完成数据集拆分后，我们可以验证拆分的结果是否正确。
这可以通过打印训练集和测试集的长度来实现。
print("训练集长度：", len(X_train))
print("测试集长度：", len(X_test))拆分结果的应用
最后，我们可以将拆分后的数据集用于模型的训练和测试。
# 在训练集上训练模型
model.fit(X_train, y_train)
# 在测试集上测试模型性能
accuracy = model.score(X_test, y_test)
print("模型准确率：", accuracy)总结
通过使用sklearn库的train_test_split函数，我们可以很方便地将数据集拆分为训练集和测试集。
同时，我们还提到了调整拆分比例和设置随机种子的一些技巧。希望这些技巧能帮助你更好地进行模型训练和测试，也希望大家多多支持脚本之家。
相关文章
Python中TypeError: unhashable type: ‘list‘错误的解
在Python编程的领域中,数据类型的正确使用是确保程序正常运行的关键要素之一,然而,开发者们常常会遇到一些由于数据类型使用不当而引发的报错,其中TypeError: unhashable type: 'list’就是一个比较典型的错误,那么,让我们深入探究这个报错问题,为大家提供全面的解决方案2024-10-10
这篇文章主要介绍了Python之web模板应用，web模板可以更加灵活和方便的控制HTML的显示，非常具有实用价值,有需要的小伙伴可以参考下2017-12-12
通过python的matplotlib包将Tensorflow数据进行可视化的方法
今天小编就为大家分享一篇通过python的matplotlib包将Tensorflow数据进行可视化的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
这篇文章主要介绍了python的urllib.parse用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-09-09
pycharm 使用心得（九）解决No Python interpreter selected的问题
PyCharm 是由JetBrains打造的一款 Python IDE。具有智能代码编辑器，能理解 Python 的特性并提供卓越的生产力推进工具：自动代码格式化、代码完成、重构、自动导入和一键代码导航等。这些功能在先进代码分析程序的支持下，使 PyCharm 成为 Python 专业开发人员和刚起步人员使用的有力工具。2014-06-06
条件表达式（有时称为“三元运算符”）在所有Python操作中优先级最低,三元运算符根据条件为真或假来计算某些东西,下面就跟随小编一起来看看Python中三元运算符的具体使用吧2023-09-09
pandas中concatenate和combine_first的用法详解
本文主要介绍了pandas中concatenate和combine_first的用法详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-01-01
Python简单获取网卡名称及其IP地址的方法【基于psutil模块】
这篇文章主要介绍了Python简单获取网卡名称及其IP地址的方法,结合实例形式分析了Python基于psutil模块针对本机网卡硬件信息的读取操作简单使用技巧,需要的朋友可以参考下2018-05-05
基于Python数据可视化利器Matplotlib,绘图入门篇,Pyplot详解
下面小编就为大家带来一篇基于Python数据可视化利器Matplotlib,绘图入门篇,Pyplot详解。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-10-10
这篇文章主要介绍了pytest框架之fixture详细使用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-04-04
最新评论