Python如何实现拆分数据集

 更新时间:2023年09月11日 11:07:27   作者:SunnyRivers  
这篇文章主要介绍了Python如何实现拆分数据集问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

前言

训练模型之前一般需要把数据集拆分为训练集和测试集,使用python代码如何拆分的关键就是如何更方便的选择出自变量X和因变量Y。

加载数据

# 导入第三方模块
import pandas as pd
# 读入数据
df = pd.read_csv(r'splitfeatures.csv')
df.head()

在这里插入图片描述

如何选择出X和Y

最简单的方式一个一个选择

X = df[['age','sex','income','profession']]
y = df['is_buy']

用iloc和loc选择

X1 = df.iloc[:,[0,1,2,4]]
y1 = df.iloc[:,[3]]
X2 = df.loc[:,['age','sex','income','profession']]
y2 = df.loc[:,['is_buy']]

用drop选择

X3 = df.drop(['is_buy'],axis=1)
y3 = df.is_buy

使用dataframe的colunms方法

col = df.columns[[0,1,2,4]]
X4 = df.loc[:,col]
X5 = df.iloc[:, df.columns != 'is_buy']
y5 = df.iloc[:, df.columns == 'is_buy']

使用model_selection拆分数据集

from sklearn import model_selection
# 将数据集拆分为训练集和测试集
X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size = 0.2, random_state = 1234)

后记

看完上面的内容,应该对拆分数据集有了一个基本认识。

下面写一个较为完整的案例:

引入必要的库

在开始之前,我们需要引入一些必要的Python库,包括numpy和sklearn。

Numpy库用于处理数组和矩阵,而sklearn库则提供了数据集拆分的函数。

import numpy as np
from sklearn.model_selection import train_test_split

加载数据集

首先,我们需要加载我们的数据集。

这里以一个简单的鸢尾花数据集为例。

from sklearn.datasets import load_iris
iris = load_iris()
X = iris.data
y = iris.target

数据集

拆分使用sklearn库的train_test_split函数可以很方便地拆分数据集。

该函数会将数据集按一定的比例拆分为训练集和测试集。

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

这里的test_size参数表示要分割测试集所占的比例,通常约定为0.2或0.3。

而random_state参数用于设置随机种子,保证每次运行代码时得到的拆分结果是相同的。

拆分结果的验证

在完成数据集拆分后,我们可以验证拆分的结果是否正确。

这可以通过打印训练集和测试集的长度来实现。

print("训练集长度:", len(X_train))
print("测试集长度:", len(X_test))

拆分结果的应用

最后,我们可以将拆分后的数据集用于模型的训练和测试。

# 在训练集上训练模型
model.fit(X_train, y_train)
# 在测试集上测试模型性能
accuracy = model.score(X_test, y_test)
print("模型准确率:", accuracy)

总结

通过使用sklearn库的train_test_split函数,我们可以很方便地将数据集拆分为训练集和测试集。

同时,我们还提到了调整拆分比例和设置随机种子的一些技巧。希望这些技巧能帮助你更好地进行模型训练和测试,也希望大家多多支持脚本之家。

相关文章

  • python中数据爬虫requests库使用方法详解

    python中数据爬虫requests库使用方法详解

    本篇文章主要介绍了python中数据爬虫requests库使用方法详解,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-02-02
  • Python如何发送与接收大型数组

    Python如何发送与接收大型数组

    这篇文章主要介绍了Python如何发送与接收大型数组,文中讲解非常细致,代码帮助大家更好的理解和学习,感兴趣的朋友可以了解下
    2020-08-08
  • Python实现轻松合并doc为txt的示例代码

    Python实现轻松合并doc为txt的示例代码

    这篇文章主要为大家详细介绍了如何利用Python编程语言和wxPython模块,打开指定文件夹中的DOC文档,并将它们的内容合并成一个便捷的TXT文档,需要的可以参考下
    2024-03-03
  • 详解python定时简单爬取网页新闻存入数据库并发送邮件

    详解python定时简单爬取网页新闻存入数据库并发送邮件

    这篇文章主要介绍了python定时简单爬取网页新闻存入数据库并发送邮件,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-11-11
  • Python Type Hints 学习之从入门到实践

    Python Type Hints 学习之从入门到实践

    Type Hints(类型注解)进一步强化了Python是一门强类型语言的特性,它在 Python3.5 中第一次被引入。使用Type Hints可以让我们编写出带有类型的Python代码,本文将详细介绍一下Type Hints,感兴趣的小伙伴可以关注一下
    2021-11-11
  • Python Locust负载测试工具安装配置使用详解

    Python Locust负载测试工具安装配置使用详解

    本文将提供有关Python Locust的全面指南,包括安装和配置、基本概念、性能测试、任务编写、报告生成以及实际应用场景,将通过丰富的示例代码来帮助深入理解Locust的使用
    2024-01-01
  • python两个list[]相加的实现方法

    python两个list[]相加的实现方法

    这篇文章主要介绍了python两个list[]相加的实现方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-09-09
  • python使用pynput捕获单个按键的步骤详解(包括组合键和功能键)

    python使用pynput捕获单个按键的步骤详解(包括组合键和功能键)

    在数字时代,键盘是与计算机交流的主要工具,键盘的每一次敲击都承载着信息,而在某些场景下,可能需要记录这些信息,这时候,pynput库就派上了大用场,它可以轻松地帮捕获并记录键盘上的每一个操作,所以本文给大家介绍了python使用pynput捕获键的操作步骤
    2024-05-05
  • python基础while循环及if判断的实例讲解

    python基础while循环及if判断的实例讲解

    下面小编就为大家带来一篇python基础while循环及if判断的实例讲解。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-08-08
  • python实现定时发送qq消息

    python实现定时发送qq消息

    这篇文章主要为大家详细介绍了python实现定时发送qq消息,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-01-01

最新评论