python分批定量读取文件内容,输出到不同文件中的方法

 更新时间:2018年12月08日 14:27:21   作者:yiranxijie  
今天小编就为大家分享一篇python分批定量读取文件内容,输出到不同文件中的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

一、文件内容的分发

应用场景:分批读取共有358086行内容的txt文件,每取1000条输出到一个文件当中

# coding=utf-8
# 分批读取共有358086行内容的txt文件,每取1000条输出到一个文件当中

txt_path = "E:/torrenthandle.txt"
base_path="E:/torrent_distribution/"


def distribution( ):
 f = open(txt_path,"r") 
 lines = f.readlines()
 f2=open(base_path+"1.txt","w")
 content=""
 for i in range( 1,len(lines) ):
  if ( i%1000!=0 ):
   content+=lines[i-1]
  else:
   content+=lines[i-1]
   f2.write(content.strip('\n'))
   block_path=base_path+str(i)+".txt"
   f2=open(block_path,"w")
   content=""
 #最后的扫尾工作
 content+=lines[i] 
 f2.write(content.strip('\n')) 
 f2.close()
 f.close()

distribution( )

二、文件夹(目录)下的内容分发

应用场景:分批读取目录下的文件,每取1000条输出到一个新的目录当中

# coding: utf-8

import os
import shutil

sourcepath = "E:\\sample"
distribution_path = "E:\\sample\\distribution\\" 

if __name__ =='__main__':
 rs = unicode(sourcepath , "utf8")
 count = 1
 savepath = unicode(distribution_path+"1", "utf-8")
 if not os.path.exists(savepath):
  os.makedirs(savepath)
 for rt,dirs,files in os.walk(rs):
  for fname in files:
   if ( count%1000!=0 ):
    shutil.copy(rt + os.sep + fname,savepath) 
    #os.remove(rt + os.sep + fname)
   else:
    shutil.copy(rt + os.sep + fname,savepath) 
    #os.remove(rt + os.sep + fname)
    savepath = unicode(distribution_path+str(count), "utf-8")
    if not os.path.exists(savepath):
     os.makedirs(savepath)
   count+=1

以上这篇python分批定量读取文件内容,输出到不同文件中的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • python实现canny边缘检测

    python实现canny边缘检测

    本文主要讲解了canny边缘检测原理:计算梯度幅值和方向、根据角度对幅值进行非极大值抑制、用双阈值算法检测和连接边缘以及python 实现
    2020-09-09
  • 基于python的matplotlib制作双Y轴图

    基于python的matplotlib制作双Y轴图

    这篇文章主要介绍了基于python的matplotlib制作双Y轴图,文中有非常详细的代码示例,对正在学习python的小伙伴们有很好地帮助,需要的朋友可以参考下
    2021-04-04
  • pyecharts如何旋转折线图的X轴标签

    pyecharts如何旋转折线图的X轴标签

    这篇文章主要介绍了pyecharts如何旋转折线图的X轴标签,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-11-11
  • python 判断一组数据是否符合正态分布

    python 判断一组数据是否符合正态分布

    这篇文章主要介绍了python 如何判断一组数据是否符合正态分布,帮助大家更好的利用python分析数据,感兴趣的朋友可以了解下
    2020-09-09
  • neo4j网址拒绝访问的问题及解决

    neo4j网址拒绝访问的问题及解决

    这篇文章主要介绍了neo4j网址拒绝访问的问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-02-02
  • 如何利用AJAX获取Django后端数据详解

    如何利用AJAX获取Django后端数据详解

    ajax一个前后台配合的技术,它可以让javascript发送http请求,与后台通信,获取数据和信息。下面这篇文章主要介绍了如何利用AJAX获取Django后端数据的相关资料,需要的朋友可以参考下
    2021-06-06
  • 使用PyTorch实现限制GPU显存的可使用上限

    使用PyTorch实现限制GPU显存的可使用上限

    从 PyTorch 1.4 版本开始,引入了一个新的功能,可以允许用户为特定的 GPU 设备设置进程可使用的显存上限比例,下面我们就来看看具体实现方法吧
    2024-03-03
  • python使用redis实现消息队列(异步)的实现完整例程

    python使用redis实现消息队列(异步)的实现完整例程

    本文主要介绍了python使用redis实现消息队列(异步)的实现完整例程,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-01-01
  • python基础教程之常用运算符

    python基础教程之常用运算符

    这篇文章主要介绍了python基础教程之常用运算符,包含数学运算符、用于判断的运算符、逻辑运算符等,需要的朋友可以参考下
    2014-08-08
  • python if not in 多条件判断代码

    python if not in 多条件判断代码

    学了一段时间python,发现有时遇到多条件判断的时候,觉得使用单纯的in的话比较麻烦,需要多个条件,今天又遇到一个,网上搜索了一下,也有同学和我遇到相同的问题,记录一下
    2016-09-09

最新评论