利用python如何处理百万条数据(适用java新手)

更新时间：2018年06月06日 08:39:53 作者：朝向远方

这篇文章主要给大家介绍了关于利用python如何处理百万条数据的相关资料，本文的教程非常适用于java新手，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面随着小编来一起学习学习吧

1、前言

因为负责基础服务,经常需要处理一些数据,但是大多时候采用awk以及java程序即可,但是这次突然有百万级数据需要处理,通过awk无法进行匹配,然后我又采用java来处理,文件一分为8同时开启8个线程并发处理,但是依然处理很慢,处理时长起码在1天+所以无法忍受这样的处理速度就采用python来处理,结果速度有了质的提升,大约处理时间为1个小时多一点,这个时间可以接受,后续可能继续采用大数据思想来处理,相关的会在后续继续更新。

2、安装python

第一步首先下载python软件,在官网可以根据自己情况合理下载，大家也可以通过脚本之家进行下载其余就是下一步搞定,然后在开始里面找到python的exe,点击开然后输入1+1就可以看出是否安装成功了.如下图

3、IEDA编辑器如何使用python

首先我们在idea中打开设置然后点击plugins,在里面有个输入框中输入python,根据提示找到如下的这个(idea版本不同可能影响python版本)

然后开始创建idea工程

file->New->Project->python然后出现如下图情况(其他的下一步然后就会创建工程了)

4、开发前知识准备

文件的读取,python读取文件非常的简单,我现在直接贴代码提供给大家

def readData(fileName):
 result = ""
 count=0
 with open(fileName, 'r') as f:
 for line in f.readlines():
  result += line
  count += 1
  print count
 return result

"""写入文件"""

def writeData(fileName, data):
 with open(fileName, 'a+')as f:
 f.write(data)

其中def是函数的定义,如果我们写定义一个函数直接前面加上def,返回值可以获取后直接用return即可

python我们直接采用with open('文件路径',模式) as f的方式来打开文件

模式：

r	只读	文件不存在则出错
r+	支持读写	文件不存在则出错,写入时,会覆盖源文件
w	只写	如果文件不存在则创建文件,会覆盖源文件,如果写入内容少则保留为覆盖的内容
w+	支持读写	同上
a	只写	如果文件不存在则创建文件,会采用追加模式
a+	读写	同上
b	二进制读写

跨文件引用:

同一个层级python是采用import直接导入文件名的方式,看下一个代码

import IoUtils

fileName1 = 'D:\\works\\pythons\\files\\userids.txt'
userIds = IoUtils.readData(fileName1).split('\n')
fileName2 = 'D:\\works\\pythons\\files\\records.txt'
records = IoUtils.readData(fileName2).strip()
recordsArr = records.split('\n')
count=0;
for data in recordsArr:
 count+=1
 if data.split('\t')[2] in userIds:
 IoUtils.writeData('D:\\works\\pythons\\files\\20180604.txt', data + '\n')
 print count

其他说明：

其中split和java程序的split一样,strip是去掉空格换行符等,循环(for in)模式,判断某个元素是否在数组中存在则直接使用元素 in 数组

5、总结

如果你有数据量级别在百分的时候我建议优先可以想到python处理真的特别方便,而且很简单学习成本也很低,但是却很实用，其实awk在数据处理中也发挥很大的作用,大家可以私下学习,如果有时间我会分享一些,关于数据我这里就不提供了大家可以按照我上述代码跑就可以,更细节的我推荐看廖雪峰的python教程。

好了，以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对脚本之家的支持。

您可能感兴趣的文章:

python tkinter与Mysql数据库交互实现账号登陆
本文主要介绍了python tkinter与Mysql数据库交互实现账号登陆，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2022-01-01
浅谈Python 列表字典赋值的陷阱
今天小编就为大家分享一篇浅谈Python 列表字典赋值的陷阱，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-01-01
Python关于__name__属性的含义和作用详解
在本篇文章里小编给大家分享的是关于Python关于__name__属性的含义和作用知识点，需要的朋友们可以参考下。
2020-02-02
Python遍历目录的4种方法实例介绍
这篇文章主要介绍了Python遍历目录的4种方法实例介绍,本文讲解了使用os.popen运行shell列表命令、利用glob模块、利用os.listdir(推荐)、利用os.walk(推荐)等4种方法,需要的朋友可以参考下
2015-04-04
使用Python实现控制摄像头的方法详解
当今，随着计算机技术的发展，摄像头已经成为了人们生活中不可或缺的一部分。而Python作为一种流行的编程语言，也可以轻松地控制和操作摄像头。本文将介绍如何使用Python中的常用库（例如OpenCV和Tkinter）来控制和操作摄像头，需要的可以参考一下
2023-03-03
pandas中DataFrame修改index、columns名的方法示例
这篇文章主要介绍了pandas中DataFrame修改index、columns名的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-08-08
python pandas获取csv指定行列的操作方法
这篇文章主要介绍了pandas获取csv指定行，列的操作方法，本文简单易懂，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下
2019-07-07
python政策网字体反爬实例(附完整代码)
大家好，本篇文章主要讲的是python政策网字体反爬实例（附完整代码），感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下
2022-01-01
python中利用队列asyncio.Queue进行通讯详解
asyncio是Python 3.4版本引入的标准库,直接内置了对异步IO的支持。下面这篇文章主要给大家介绍了关于python中利用队列asyncio.Queue进行通讯的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考下。
2017-09-09
Python实现购物车购物小程序
这篇文章主要为大家详细介绍了Python实现购物车购物小程序，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-04-04