脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → sklearn python线性回归

sklearn+python:线性回归案例

 更新时间：2020年02月24日 10:40:49   作者：yuanlulu  
今天小编就为大家分享一篇sklearn+python:线性回归案例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

使用一阶线性方程预测波士顿房价

载入的数据是随sklearn一起发布的，来自boston 1993年之前收集的506个房屋的数据和价格。load_boston()用于载入数据。

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
import time
from sklearn.linear_model import LinearRegression


boston = load_boston()

X = boston.data
y = boston.target

print("X.shape:{}. y.shape:{}".format(X.shape, y.shape))
print('boston.feature_name:{}'.format(boston.feature_names))

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=3)

model = LinearRegression()

start = time.clock()
model.fit(X_train, y_train)

train_score = model.score(X_train, y_train)
cv_score = model.score(X_test, y_test)

print('time used:{0:.6f}; train_score:{1:.6f}, sv_score:{2:.6f}'.format((time.clock()-start),
                                    train_score, cv_score))

输出内容为：

X.shape:(506, 13). y.shape:(506,)
boston.feature_name:['CRIM' 'ZN' 'INDUS' 'CHAS' 'NOX' 'RM' 'AGE' 'DIS' 'RAD' 'TAX' 'PTRATIO'
 'B' 'LSTAT']
time used:0.012403; train_score:0.723941, sv_score:0.794958

可以看到测试集上准确率并不高，应该是欠拟合。

使用多项式做线性回归

上面的例子是欠拟合的，说明模型太简单，无法拟合数据的情况。现在增加模型复杂度，引入多项式。

打个比方，如果原来的特征是[a, b]两个特征，

在degree为2的情况下， 多项式特征变为[1, a, b, a^2, ab, b^2]。degree为其它值的情况依次类推。

多项式特征相当于增加了数据和模型的复杂性，能够更好的拟合。

下面的代码使用Pipeline把多项式特征和线性回归特征连起来，最终测试degree在1、2、3的情况下的得分。

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
import time
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import Pipeline

def polynomial_model(degree=1):
  polynomial_features = PolynomialFeatures(degree=degree, include_bias=False)

  linear_regression = LinearRegression(normalize=True)
  pipeline = Pipeline([('polynomial_features', polynomial_features),
             ('linear_regression', linear_regression)])
  return pipeline

boston = load_boston()
X = boston.data
y = boston.target
print("X.shape:{}. y.shape:{}".format(X.shape, y.shape))
print('boston.feature_name:{}'.format(boston.feature_names))

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=3)

for i in range(1,4):
  print( 'degree:{}'.format( i ) )
  model = polynomial_model(degree=i)

  start = time.clock()
  model.fit(X_train, y_train)

  train_score = model.score(X_train, y_train)
  cv_score = model.score(X_test, y_test)

  print('time used:{0:.6f}; train_score:{1:.6f}, sv_score:{2:.6f}'.format((time.clock()-start),
                                    train_score, cv_score))

输出结果为：

X.shape:(506, 13). y.shape:(506,)
boston.feature_name:['CRIM' 'ZN' 'INDUS' 'CHAS' 'NOX' 'RM' 'AGE' 'DIS' 'RAD' 'TAX' 'PTRATIO'
 'B' 'LSTAT']
degree:1
time used:0.003576; train_score:0.723941, sv_score:0.794958
degree:2
time used:0.030123; train_score:0.930547, sv_score:0.860465
degree:3
time used:0.137346; train_score:1.000000, sv_score:-104.429619

可以看到degree为1和上面不使用多项式是一样的。degree为3在训练集上的得分为1，在测试集上得分是负数，明显过拟合了。

所以最终应该选择degree为2的模型。

二阶多项式比一阶多项式好的多，但是测试集和训练集上的得分仍有不少差距，这可能是数据不够的原因，需要更多的讯据才能进一步提高模型的准确度。

正规方程解法和梯度下降的比较

除了梯度下降法来逼近最优解，也可以使用正规的方程解法直接计算出最终的解来。

根据吴恩达的课程，线性回归最优解为：

theta = (X^T * X)^-1 * X^T * y

其实两种方法各有优缺点：

梯度下降法：

缺点：需要选择学习率，需要多次迭代

优点：特征值很多（1万以上）时仍然能以不错的速度工作

正规方程解法：

优点：不需要设置学习率，不需要多次迭代

缺点：需要计算X的转置和逆，复杂度O3；特征值很多（1万以上）时特变慢

在分类等非线性计算中，正规方程解法并不适用，所以梯度下降法适用范围更广。

以上这篇sklearn+python:线性回归案例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • Pycharm挂代理后依旧插件下载慢的完美解决方法

    Pycharm挂代理后依旧插件下载慢的完美解决方法

    狠多朋友在使用Pycharm插件时，反应下载速度很慢，挂载了代理还是不够，怎么解决这一问题呢，下面小编给大家代理了Pycharm插件下载慢的完美解决方法，需要的朋友参考下吧
    2021-08-08
  • python如何实现读取并显示图片（不需要图形界面）

    python如何实现读取并显示图片（不需要图形界面）

    这篇文章主要介绍了python如何实现读取并显示图片，文中示例代码非常详细，帮助大家更好的理解和学习，感兴趣的朋友可以了解下
    2020-07-07
  • Python中的SOLID原则实例详解

    Python中的SOLID原则实例详解

    SOLID原则是由Robert C. Martin提出的以首字母缩写命名的编码准则,它代表了五种不同的编码习惯,下面这篇文章主要给大家介绍了关于Python中SOLID原则的相关资料,需要的朋友可以参考下
    2023-02-02
  • 深度解析Python中的情感分析与情绪识别

    深度解析Python中的情感分析与情绪识别

    在当今数字化时代,情感分析与情绪识别技术日益成为人机交互,社交媒体分析,智能客服等领域的重要应用,下面我们就来深入聊聊基于Python的情感分析与情绪识别技术吧
    2025-03-03
  • Python实现扫描局域网活动ip（扫描在线电脑）

    Python实现扫描局域网活动ip（扫描在线电脑）

    这篇文章主要介绍了Python实现扫描局域网活动ip（扫描在线电脑）,本文直接给出实现代码,需要的朋友可以参考下
    2015-04-04
  • python获取命令行输入参数列表的实例代码

    python获取命令行输入参数列表的实例代码

    今天小编就为大家分享一篇python获取命令行输入参数列表的实例代码，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-06-06
  • 详解python的二进制转化模块

    详解python的二进制转化模块

    这篇文章主要为大家介绍了python的二进制转化模块，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助
    2022-01-01
  • Python初学者常见错误详解

    Python初学者常见错误详解

    这篇文章主要介绍了Python初学者常见错误详解,即便是有编程经验的程序员，也容易按照固有的思维和语法格式来写 Python 代码,需要的朋友可以参考下
    2019-07-07
  • Python连接MySQL数据库的四种方法

    Python连接MySQL数据库的四种方法

    用 Python 连接到 MySQL 数据库的方法不是很系统,实际中有几种不同的连接方法,而且不是所有的方法都能与不同的操作系统很好地配合,本文涵盖了四种方法,你可以用它们来连接你的Python应用程序和MySQL,需要的朋友可以参考下
    2024-08-08
  • python日期时间转为字符串或者格式化输出的实例

    python日期时间转为字符串或者格式化输出的实例

    今天小编就为大家分享一篇python日期时间转为字符串或者格式化输出的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05

最新评论