利用python如何处理百万条数据(适用java新手)
1、前言
因为负责基础服务,经常需要处理一些数据,但是大多时候采用awk以及java程序即可,但是这次突然有百万级数据需要处理,通过awk无法进行匹配,然后我又采用java来处理,文件一分为8同时开启8个线程并发处理,但是依然处理很慢,处理时长起码在1天+所以无法忍受这样的处理速度就采用python来处理,结果速度有了质的提升,大约处理时间为1个小时多一点,这个时间可以接受,后续可能继续采用大数据思想来处理,相关的会在后续继续更新。
2、安装python
第一步首先下载python软件,在官网可以根据自己情况合理下载，大家也可以通过脚本之家进行下载其余就是下一步搞定,然后在开始里面找到python的exe,点击开然后输入1+1就可以看出是否安装成功了.如下图
3、IEDA编辑器如何使用python
首先我们在idea中打开设置然后点击plugins,在里面有个输入框中输入python,根据提示找到如下的这个(idea版本不同可能影响python版本)
然后开始创建idea工程
file->New->Project->python然后出现如下图情况(其他的下一步然后就会创建工程了)
4、开发前知识准备
文件的读取,python读取文件非常的简单,我现在直接贴代码提供给大家
def readData(fileName): result = "" count=0 with open(fileName, 'r') as f: for line in f.readlines(): result += line count += 1 print count return result """写入文件""" def writeData(fileName, data): with open(fileName, 'a+')as f: f.write(data)
其中def是函数的定义,如果我们写定义一个函数直接前面加上def,返回值可以获取后直接用return即可
python我们直接采用with open('文件路径',模式) as f的方式来打开文件
模式：
| r | 只读 | 文件不存在则出错 |
| r+ | 支持读写 | 文件不存在则出错,写入时,会覆盖源文件 |
| w | 只写 | 如果文件不存在则创建文件,会覆盖源文件,如果写入内容少则保留为覆盖的内容 |
| w+ | 支持读写 | 同上 |
| a | 只写 | 如果文件不存在则创建文件,会采用追加模式 |
| a+ | 读写 | 同上 |
| b | 二进制读写 |
跨文件引用:
同一个层级python是采用import直接导入文件名的方式,看下一个代码
import IoUtils
fileName1 = 'D:\\works\\pythons\\files\\userids.txt'
userIds = IoUtils.readData(fileName1).split('\n')
fileName2 = 'D:\\works\\pythons\\files\\records.txt'
records = IoUtils.readData(fileName2).strip()
recordsArr = records.split('\n')
count=0;
for data in recordsArr:
count+=1
if data.split('\t')[2] in userIds:
IoUtils.writeData('D:\\works\\pythons\\files\\20180604.txt', data + '\n')
print count
其他说明：
其中split和java程序的split一样,strip是去掉空格换行符等,循环(for in)模式,判断某个元素是否在数组中存在则直接使用 元素 in 数组
5、总结
如果你有数据量级别在百分的时候我建议优先可以想到python处理真的特别方便,而且很简单学习成本也很低,但是却很实用，其实awk在数据处理中也发挥很大的作用,大家可以私下学习,如果有时间我会分享一些,关于数据我这里就不提供了大家可以按照我上述代码跑就可以,更细节的我推荐看廖雪峰的python教程。
好了，以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对脚本之家的支持。
相关文章
这篇文章主要介绍了python3实现钉钉消息推送的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-03-03
这篇文章主要给大家介绍了关于python中字符串操作方法的相关资料，文中通过示例代码详细介绍了关于python中字符串的大小写转换、isXXX判断、填充、子串搜索、替换、分割、join以及修剪：strip、lstrip和rstrip的相关内容，需要的朋友可以参考下2018-06-06
这篇文章主要为大家详细介绍了朴素贝叶斯Python算法实现，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-11-11
Python使用crontab模块设置和清除定时任务操作详解
这篇文章主要介绍了Python使用crontab模块设置和清除定时任务操作,结合实例形式分析了centos7平台上Python安装、python-crontab模块安装,以及基于python-crontab模块的定时任务相关操作技巧,需要的朋友可以参考下2019-04-04
我们经常会遇到数据集中存在空值的情况,本文主要介绍了python空值填充为无的实现方法,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习吧2024-02-02
== 和 is 是 Python 中对象比较常用的两种方式,简单来说，'==' 操作符比较对象之间的值是否相等,下面这篇文章主要给大家介绍了关于Python实用小知识之对象间比较的相关资料,需要的朋友可以参考下2021-10-10
TransBigData是一个为交通时空大数据处理、分析和可视化而开发的Python包。本文就来用它实现个人手机定位分析，感兴趣的小伙伴可以了解一下2023-04-04
位运算就是直接对整数在内存中对应的二进制位进行操作，一般是将数字化为二进制数后进行操作。本文将利用Python语言实现位运算，感兴趣的可以了解一下2022-06-06
下面小编就为大家分享一篇python 把文件中的每一行以数组的元素放入数组中的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
python cv2读取rtsp实时码流按时生成连续视频文件方式
今天小编就为大家分享一篇python cv2读取rtsp实时码流按时生成连续视频文件方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
最新评论