python读取大文件越来越慢的原因与解决
背景：
今天同事写代码，用python读取一个四五百兆的文件，然后做一串逻辑上很直观的处理。结果处理了一天还没有出来结果。问题出在哪里呢？
解决：
1. 同事打印了在不同时间点的时间，在需要的地方插入如下代码:
print time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))
发现一个规律，执行速度到后面时间越来越长，也就是处理速度越来越慢。
2. 为什么会越来越慢呢？
1）可能原因1，GC 的问题，有篇文章里面写，python list append 的时候会越来越慢，解决方案是禁止GC:
使用 gc.disable（）和gc.enable（）
2）改完上面，仍然不行，然后看到一篇文章里面写，可能是因为 git 导致的，因为append 的时候 git 会不断同步，会出问题，于是删除 .git 文件夹，结果还是不行。
3）继续查询，发下一个及其有可能出问题的地方。dict 的 in dict.key()，判断 key 是否在 dict 里面，这个的效率是非常低的。看到一篇文章比较了效率：
① 使用 in dict.keys() 效率:
② 使用 has_key() 效率:
发现 has_key() 效率比较稳定。于是修改，问题解决。
后话：
最初的时候，的确是使用 has_key(), 结果后面上传代码的时候，公司代码检查过不了，提示不能使用这个函数，只能改成 in dict.key() 这种方式，为什么公司不让这么传呢？经过一番百度，发现原因所在：在 python3 中，直接将 has_key() 函数给删除了，所以禁止使用。那禁止了该怎么办呢？原来 python 中 in 很智能，能自动判断 key 是否在字典中存在。所以最正规的做法不是 has_key(), 更不是 in dict.keys(), 而是 in dict. 判断 key 在 map 中，千万别用 in dict.keys() ！！！
附录:
in、 in dict.keys()、 has_key() 方法实战对比:
>>> a = {'name':"tom", 'age':10, 'Tel':110}
>>> a
{'age': 10, 'Tel': 110, 'name': 'tom'}
>>> print 'age' in a
True
>>> print 'age' in a.keys()
True
>>>
>>> print a.has_key("age")
True
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对脚本之家的支持。
参考资料:
https://www.douban.com/group/topic/44472300/
相关文章
django模型类中,null=True,blank=True用法说明
这篇文章主要介绍了django模型类中,null=True,blank=True用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-07-07
这篇文章主要为大家详细介绍了python实现简单银行管理系统，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-10-10
当我们在上网的时候，通常输入的是网址，其实这就是一个域名，而我们计算机网络上的计算机彼此之间只能用IP地址才能相互识别2014-06-06
Python列表(list)、字典(dict)、字符串(string)基本操作小结
这篇文章主要介绍了Python列表(list)、字典(dict)、字符串(string)基本操作小结,本文总结了最基本最常用的一些操作,需要的朋友可以参考下2014-11-11
下面这篇文章主要介绍了Class-based View，为什么要有这个Class-based View呢？view不都是一个方法吗？跟类有啥关系？其实答案很明显，用类其实是为了抽象，抽象出通用的，将可变的暴露出来，这样我们就可以用最少的代码实现复杂的功能了。下面来看看详细的介绍吧。2017-02-02
这篇文章主要给大家分享的是Python字典 dict几种遍历方式，文章主要介绍使用 for key in dict遍历字典、使用for key in dict.keys () 遍历字典的键等内容,需要的朋友可以参考一下，希望对你有所帮助2021-11-11
这篇文章主要和大家分享一个非常有趣的Python教程—如何美化一个 matplotlib折线图。文中的示例代码讲解详细，感兴趣的可以了解一下2022-05-05
这篇文章主要介绍了十行代码实现python向手机推送通知,这里使用的是pushplus的服务，代码也很简单，运行代码后也是很快就可以收到消息推送，需要的朋友可以参考下2022-04-04
在 Python 中获取一个数组的子数组时，可以使用切片操作，使用切片操作来获取一个数组的一段连续的子数组，并且还可以使用一些方便的语法来简化代码，这篇文章主要介绍了如何在 Python 中获取数组的子数组,需要的朋友可以参考下2023-05-05
一直以来，中国象棋都是中华民族的一种象征，当然也是人们最为喜感的一种娱乐方式。这篇文章主要介绍了如何基于Python实现有趣的象棋游戏，感兴趣的可以了解一下2023-03-03
最新评论