python分批定量读取文件内容,输出到不同文件中的方法

 更新时间:2018年12月08日 14:27:21   作者:yiranxijie  
今天小编就为大家分享一篇python分批定量读取文件内容,输出到不同文件中的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

一、文件内容的分发

应用场景:分批读取共有358086行内容的txt文件,每取1000条输出到一个文件当中

# coding=utf-8
# 分批读取共有358086行内容的txt文件,每取1000条输出到一个文件当中

txt_path = "E:/torrenthandle.txt"
base_path="E:/torrent_distribution/"


def distribution( ):
 f = open(txt_path,"r") 
 lines = f.readlines()
 f2=open(base_path+"1.txt","w")
 content=""
 for i in range( 1,len(lines) ):
  if ( i%1000!=0 ):
   content+=lines[i-1]
  else:
   content+=lines[i-1]
   f2.write(content.strip('\n'))
   block_path=base_path+str(i)+".txt"
   f2=open(block_path,"w")
   content=""
 #最后的扫尾工作
 content+=lines[i] 
 f2.write(content.strip('\n')) 
 f2.close()
 f.close()

distribution( )

二、文件夹(目录)下的内容分发

应用场景:分批读取目录下的文件,每取1000条输出到一个新的目录当中

# coding: utf-8

import os
import shutil

sourcepath = "E:\\sample"
distribution_path = "E:\\sample\\distribution\\" 

if __name__ =='__main__':
 rs = unicode(sourcepath , "utf8")
 count = 1
 savepath = unicode(distribution_path+"1", "utf-8")
 if not os.path.exists(savepath):
  os.makedirs(savepath)
 for rt,dirs,files in os.walk(rs):
  for fname in files:
   if ( count%1000!=0 ):
    shutil.copy(rt + os.sep + fname,savepath) 
    #os.remove(rt + os.sep + fname)
   else:
    shutil.copy(rt + os.sep + fname,savepath) 
    #os.remove(rt + os.sep + fname)
    savepath = unicode(distribution_path+str(count), "utf-8")
    if not os.path.exists(savepath):
     os.makedirs(savepath)
   count+=1

以上这篇python分批定量读取文件内容,输出到不同文件中的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Keras 切换后端方式(Theano和TensorFlow)

    Keras 切换后端方式(Theano和TensorFlow)

    这篇文章主要介绍了Keras 切换后端方式(Theano和TensorFlow),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • flask 框架操作MySQL数据库简单示例

    flask 框架操作MySQL数据库简单示例

    这篇文章主要介绍了flask 框架操作MySQL数据库,结合实例形式详细分析了flask框架操作MySQL数据库的连接、表格创建、数据增删改查等相关使用技巧,需要的朋友可以参考下
    2020-02-02
  • Python如何使用27行代码绘制星星图

    Python如何使用27行代码绘制星星图

    这篇文章主要介绍了Python如何使用27行代码绘制星星图,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-07-07
  • Python绘制组合图的示例

    Python绘制组合图的示例

    这篇文章主要介绍了Python如何绘制组合图,帮助大家更好的利用python绘制图像,进行数据可视化分析,感兴趣的朋友可以了解下
    2020-09-09
  • python实现统计代码行数的小工具

    python实现统计代码行数的小工具

    这篇文章主要为大家详细介绍了python实现统计代码行数的小工具,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-09-09
  • python密码学简单替代密码解密及测试教程

    python密码学简单替代密码解密及测试教程

    这篇文章主要介绍了python密码学简单替代密码解密及测试教程,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-05-05
  • python 如何在测试中使用 Mock

    python 如何在测试中使用 Mock

    这篇文章主要介绍了python 如何在测试中使用 Mock,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下
    2021-03-03
  • 从PySpark中的字符串获取列表方法讲解

    从PySpark中的字符串获取列表方法讲解

    在本篇内容里小编给大家分享的是一篇关于从PySpark中的字符串获取列表方法讲解及相关实例,有需要的朋友们跟着学习下。
    2021-12-12
  • 使用C语言扩展Python程序的简单入门指引

    使用C语言扩展Python程序的简单入门指引

    这篇文章主要介绍了使用C语言扩展Python程序的简单入门指引,来自于IBM官网网站技术文档,需要的朋友可以参考下
    2015-04-04
  • Python Struct库之pack和unpack举例详解

    Python Struct库之pack和unpack举例详解

    这篇文章主要给大家介绍了关于Python Struct库之pack和unpack的相关资料,pack和unpack在处理二进制流中比较常用的封包、解包格式,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2024-02-02

最新评论