讲清楚fit_transform()和transform()的区别及说明

 更新时间:2024年02月22日 09:22:03   作者:微电子学与固体电子学-俞驰  
这篇文章主要介绍了讲清楚fit_transform()和transform()的区别及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

fit_transform()和transform()的区别

网上抄来抄去都是一个意思,

fit_transform是fit和transform的组合

我们知道fit(x,y)在新手入门的例子中比较多,但是这里的fit_transform(x)的括号中只有一个参数,这是为什么呢?

fit(x,y)传两个参数的是有监督学习的算法,fit(x)传一个参数的是无监督学习的算法,比如降维、特征提取、标准化

解释为什么出来fit_transform()这个东西

下面是重点:

fit和transform没有任何关系,仅仅是数据处理的两个不同环节,之所以出来这么个函数名,仅仅是为了写代码方便,

所以会发现transform()和fit_transform()的运行结果是一样的。

注意:

运行结果一模一样不代表这两个函数可以互相替换,绝对不可以!!!

  • transform函数是一定可以替换为fit_transform函数的
  • fit_transform函数不能替换为transform函数!!!理由解释如下:

 sklearn里的封装好的各种算法都要fit、然后调用各种API方法,transform只是其中一个API方法,所以当你调用除transform之外的方法,必须要先fit,为了通用的写代码,还是分开写比较好 

也就是说,这个fit相对于transform而言是没有任何意义的,但是相对于整个代码而言,fit是为后续的API函数服务的,所以fit_transform不能改写为transform。

下面的代码用来举例示范

数据集是代码自动从网上下载的

如果把下面的乳腺癌相关的机器学习代码中的fit_transform改为transform,编译器就会报错。

(下面给出的是无错误的代码)

# coding: utf-8
# 导入pandas与numpy工具包。
import pandas as pd
import numpy as np
 
# 创建特征列表。
column_names = ['Sample code number', 'Clump Thickness', 'Uniformity of Cell Size', 'Uniformity of Cell Shape', 'Marginal Adhesion', 'Single Epithelial Cell Size', 'Bare Nuclei', 'Bland Chromatin', 'Normal Nucleoli', 'Mitoses', 'Class']
# 使用pandas.read_csv函数从互联网读取指定数据。
data = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data', names = column_names )
 
# 将?替换为标准缺失值表示。
data = data.replace(to_replace='?', value=np.nan)
# 丢弃带有缺失值的数据(只要有一个维度有缺失)。
data = data.dropna(how='any')
 
# 输出data的数据量和维度。
data.shape
 
 
# In[2]:
 
 
# 使用sklearn.cross_valiation里的train_test_split模块用于分割数据。
from sklearn.cross_validation import train_test_split
 
# 随机采样25%的数据用于测试,剩下的75%用于构建训练集合。
X_train, X_test, y_train, y_test = train_test_split(data[column_names[1:10]], data[column_names[10]], test_size=0.25, random_state=33)
# print "data[column_names[10]]",data[column_names[10]]
 
 
# 查验训练样本的数量和类别分布。
y_train=pd.Series(y_train)
y_train.value_counts()
 
# 查验测试样本的数量和类别分布。
y_test=pd.Series(y_test)
y_test.value_counts()
 
 
# 从sklearn.preprocessing里导入StandardScaler。
from sklearn.preprocessing import StandardScaler
# 从sklearn.linear_model里导入LogisticRegression与SGDClassifier。
from sklearn.linear_model import LogisticRegression
from sklearn.linear_model import SGDClassifier
 
 
 
 
 
 
 
#标准化数据,保证每个维度的特征数据方差为1,均值为0。使得预测结果不会被某些维度过大的特征值而主导。
ss = StandardScaler()
X_train = ss.fit_transform(X_train)
X_test = ss.transform(X_test)
 
#
 
# 初始化LogisticRegression与SGDClassifier。
lr = LogisticRegression()
sgdc = SGDClassifier()
 
# 调用LogisticRegression中的fit函数/模块用来训练模型参数。
lr.fit(X_train, y_train)
# 使用训练好的模型lr对X_test进行预测,结果储存在变量lr_y_predict中。
lr_y_predict = lr.predict(X_test)
 
# 调用SGDClassifier中的fit函数/模块用来训练模型参数。
sgdc.fit(X_train, y_train)
# 使用训练好的模型sgdc对X_test进行预测,结果储存在变量sgdc_y_predict中。
sgdc_y_predict = sgdc.predict(X_test)
 
 
 
 
# 从sklearn.metrics里导入classification_report模块。
from sklearn.metrics import classification_report
 
# 使用逻辑斯蒂回归模型自带的评分函数score获得模型在测试集上的准确性结果。
print ("Accuracy of LR Classifier:", lr.score(X_test, y_test))
# 利用classification_report模块获得LogisticRegression其他三个指标的结果。
print (classification_report(y_test, lr_y_predict, target_names=['Benign', 'Malignant']))
 
 
 
# 使用随机梯度下降模型自带的评分函数score获得模型在测试集上的准确性结果。
print 'Accuarcy of SGD Classifier:', sgdc.score(X_test, y_test)
# 利用classification_report模块获得SGDClassifier其他三个指标的结果。
print classification_report(y_test, sgdc_y_predict, target_names=['Benign', 'Malignant'])
 
 
 

会得到报错信息:

AttributeError: 'StandardScaler' object has no attribute 'mean_'

有的版本报错更加直接:

sklearn.exceptions.NotFittedError: This StandardScaler instance is not fitted yet. Call 'fit' with appropriate arguments before using this method.

原因就是因为代码中的fit_transform函数被改为了transform函数。

所以总结

fit_transform与transform运行结果一致,但是fit与transform无关,只是数据处理的两个环节,fit是为了程序的后续函数transform的调用而服务的,是个前提条件。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • 使用Python获取并处理IP的类型及格式方法

    使用Python获取并处理IP的类型及格式方法

    今天小编就为大家分享一篇使用Python获取并处理IP的类型及格式方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-11-11
  • tensorflow学习笔记之tfrecord文件的生成与读取

    tensorflow学习笔记之tfrecord文件的生成与读取

    这篇文章主要介绍了tensorflow学习笔记之tfrecord文件的生成与读取,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-03-03
  • Qt自定义Plot实现曲线绘制的详细过程

    Qt自定义Plot实现曲线绘制的详细过程

    这篇文章主要介绍了Qt自定义Plot实现曲线绘制,包含arm触摸屏多点触控缩放(只支持两点),实时曲线绘制,数据点根据绘制宽度优化,跟踪点数据获取,双坐标等功能,需要的朋友可以参考下
    2021-11-11
  • Pandas中MultiIndex选择并提取任何行和列

    Pandas中MultiIndex选择并提取任何行和列

    本文主要介绍了Pandas中MultiIndex选择并提取任何行和列,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-02-02
  • 如何用Django处理gzip数据流

    如何用Django处理gzip数据流

    这篇文章主要介绍了如何用Django处理gzip数据流,帮助大家更好的理解和使用django框架,感兴趣的朋友可以了解下
    2021-01-01
  • Python操作qml对象过程详解

    Python操作qml对象过程详解

    这篇文章主要介绍了Python操作qml对象过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-09-09
  • Python使用sigthief签发证书的实现步骤

    Python使用sigthief签发证书的实现步骤

    Windows 系统中的一些非常重要文件通常会被添加数字签名,其目的是用来防止被篡改,能确保用户通过互联网下载时能确信此代码没有被非法篡改和来源可信,从而保护了代码的完整性、保护了用户不会被病毒、恶意代码和间谍软件所侵害,本章将演示证书的签发与伪造
    2021-06-06
  • 基于Python实现炸弹人小游戏

    基于Python实现炸弹人小游戏

    这篇文章主要介绍了基于Python中的Pygame模块实现的炸弹人小游戏,文中的示例代码讲解详细,对学习Python有一定的帮助,感兴趣的小伙伴可以学习一下
    2021-12-12
  • 解析Pytorch中的torch.gather()函数

    解析Pytorch中的torch.gather()函数

    本文给大家介绍了Pytorch中的torch.gather()函数,通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧
    2021-11-11
  • PyQt5每天必学之创建窗口居中效果

    PyQt5每天必学之创建窗口居中效果

    这篇文章主要介绍了PyQt5每天必学之创建窗口居中效果,使应用程序窗口显示在屏幕的中心,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-04-04

最新评论