脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python从数据库读取大量数据批量写入文件

Python从数据库读取大量数据批量写入文件的方法

 更新时间：2018年12月10日 11:11:30   作者：DiamondTan  
今天小编就为大家分享一篇Python从数据库读取大量数据批量写入文件的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

使用机器学习训练数据时，如果数据量较大可能我们不能够一次性将数据加载进内存，这时我们需要将数据进行预处理，分批次加载进内存。

下面是代码作用是将数据从数据库读取出来分批次写入txt文本文件，方便我们做数据的预处理和训练机器学习模型。

#%%
import pymssql as MySQLdb #这里是python3 如果你是python2.x的话，import MySQLdb
#数据库连接属性
hst = '188.10.34.18'
usr = 'sa'
passwd = 'p@ssw0rd'
db = 'HistoryTrace'
 
#总共多少数据
allData = 1674333
#每个批次多少条数据
dataOfEach = 20000
#批次
batch = ceil(allData/dataOfEach)
 
#文件名
global IDctrl 
IDctrl = 1
filename = str(IDctrl)+'.txt'
 
#连接数据库
conn = MySQLdb.connect(host=hst,user=usr,password=passwd,database=db)
cur=conn.cursor()
 
while IDctrl<batch:
 #读取数据库
 sql = 'SELECT Longitude,Latitude,Altitude,VelComOfLong,VelComOfLati,Aircraft,Section,TimeMinus\
    FROM dealed1 where ID>=' + str(IDctrl) + ' and ID <' + str(IDctrl + dataOfEach) 
 cur.execute(sql)
 rows=cur.fetchall()
 #写文件
 f = open(filename,'w')
 f.writelines(str(rows))
 #文件名加1
 IDctrl+=1
 filename = str(IDctrl)+'.txt'
 
#关闭数据库连接
f.close()
conn.close()

以上这篇Python从数据库读取大量数据批量写入文件的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • Python使用tkinter实现摇骰子小游戏功能的代码

    Python使用tkinter实现摇骰子小游戏功能的代码

    这篇文章主要介绍了Python使用tkinter实现的摇骰子小游戏功能，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-07-07
  • TensorFlow实现批量归一化操作的示例

    TensorFlow实现批量归一化操作的示例

    这篇文章主要介绍了TensorFlow实现批量归一化操作的示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-04-04
  • Python之列表的append()方法最容易踩的坑

    Python之列表的append()方法最容易踩的坑

    这篇文章主要介绍了Python之列表的append()方法最容易踩的坑及解决，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2022-11-11
  • Python必备技巧之字符数据操作详解

    Python必备技巧之字符数据操作详解

    处理字符数据是编程不可或缺的一部分。Python 提供了一组丰富的运算符、函数和方法来处理字符串。包括字符串运算符、内置函数、索引、切片和内置方法。快来学习一下吧
    2022-03-03
  • opencv 阈值分割的具体使用

    opencv 阈值分割的具体使用

    这篇文章主要介绍了opencv 阈值分割的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-07-07
  • Python pygame实现图像基本变换的示例详解

    Python pygame实现图像基本变换的示例详解

    pygame的transform中封装了一些基础的图像处理函数,这篇文章主要为大家介绍了pygame实现图像的基本变换,例如缩放、旋转、镜像等,感兴趣的小伙伴可以了解一下
    2023-11-11
  • Python print函数:如何将对象打印输出

    Python print函数:如何将对象打印输出

    这篇文章主要介绍了Python print函数:如何将对象打印输出，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2022-05-05
  • Python实现登录人人网并抓取新鲜事的方法

    Python实现登录人人网并抓取新鲜事的方法

    这篇文章主要介绍了Python实现登录人人网并抓取新鲜事的方法,可实现Python模拟登陆并抓取新鲜事的功能,需要的朋友可以参考下
    2015-05-05
  • 全面分析Python的优点和缺点

    全面分析Python的优点和缺点

    本篇文章给大家详细分析了Python的优点和缺点以及相关的优势劣势分析，对此有兴趣的朋友学习下。
    2018-02-02
  • python教程网络爬虫及数据可视化原理解析

    python教程网络爬虫及数据可视化原理解析

    这篇文章主要为大家介绍了python教程中网络爬虫及数据可视化原理的示例解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步早日升职加薪
    2021-10-10

最新评论