Python 性能优化技巧总结
1.使用测量工具，量化性能才能改进性能，常用的timeit和memory_profiler，此外还有profile、cProfile、hotshot等，memory_profiler用了psutil，所以不能跟踪cpython的扩展；
2.用C来解决费时的处理，c是效率的代名词，也是python用来解决效率问题的主要途径，甚至有时候我都觉得python是c的完美搭档。常用的是Cython，直接把py代码c化然后又能像使用py包一样使用，其次是ctypes，效率最最高的存在，最后还有CPython和cffi都是屌屌的存在；
3.优化算法，所有语言通病，算法的提升我觉得是在所有提升之上的，但也是最难的，好在现在大部分常用的算法都已经封包，除非自己给自己挖坑，所以弄懂标准库里的数据结构和常用api是如何实现的很重要；
4.2里的实现有人做了更高效的包用以替换python中常见的一些实现，如果瓶颈在stringio、pickle、profile这类上的可以考虑替换为c的版本；
5.数据结构尽量使用元组tuple，特别是数据量大的时候，实在不行list也可以，尽量不要用class，如果一定要用可以加slot，效率再不够就只能结合2来加速了；
6.延迟加载，import不是一定要写在一页的开始，哪里都可以，越碎片越能把包的加载延迟甚至不被加载；
7.用multiprocessing来实现多线程，可以跳出GIL的限制；
8.python处理循环很烂，解释性语言就这样，跟其它编译型语言比就是蜗牛，所以减少循环次数和嵌套次数能显著提升性能，当然了使用pypy就没有这个问题了；
9.使用加速器，很喜欢psyco的使用方式，如果用2.7-的版本那么不失为一个懒人的选择，现在已经不再维护，创始人去了pypy，pypy是用Python实现的python，底层转为平台依赖的c、.net、java的中间语言，方式非常聪明，大爱，但是缺点是库的支持还不完善，我的项目基本都能支持，解决几个小问题即可，如果性能瓶颈在循环和内存上可以试试，最大的好处是不需要更改一句代码和做另外的设置，没有任何侵入。
参考资料：
Python 代码性能优化技巧： https://www.ibm.com/developerworks/cn/linux/l-cn-python-optim/
Python性能优化技巧： http://kuanghy.github.io/2016/09/26/python-optimize
相关文章
在当今的人工智能领域,大型语言模型（LLM）如GPT、BERT等已经成为了研究和应用的热点,但其训练和部署成本高昂,且在不同领域或任务间的迁移能力有限,因此,如何有效地实现LLM的模型迁移,成为了一个重要的研究方向,本文将深入探讨如何使用Python实现LLM的模型迁2025-02-02
这篇文章主要介绍了Python hashlib和hmac模块使用方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-12-12
今天小编就为大家分享一篇解决项目pycharm能运行,在终端却无法运行的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
本文主要介绍了DRF请求与响应的实现，文中通过示例代码介绍的非常详细，需要的朋友们下面随着小编来一起学习学习吧2021-07-07
这篇文章主要介绍了softmax及python实现过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
这篇文章主要介绍了python中print输出有空格的解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
这篇文章主要介绍了Django如何实现密码错误报错提醒,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值2020-09-09
这篇文章主要介绍了Python简单读写Xls格式文档的方法,结合实例形式分析了Python中xlrd和xlwt模块的安装及针对xls格式文档的相关读写操作实现技巧,需要的朋友可以参考下2018-08-08
python+pytest接口自动化之日志管理模块loguru简介
python中有一个用起来非常简便的第三方日志管理模块--loguru，不仅可以避免logging的繁琐配置，而且可以很简单地避免在logging中多进程多线程记录日志时出现的问题，甚至还可以自定义控制台输出的日志颜色，接下来我们来学习怎么使用loguru模块进行日志管理2022-05-05
python3 BeautifulSoup模块使用字典的方法抓取a标签内的数据示例
这篇文章主要介绍了python3 BeautifulSoup模块使用字典的方法抓取a标签内的数据,结合实例形式Fenix了python3 BeautifulSoup模块进行数据的抓取相关操作技巧,需要的朋友可以参考下2019-11-11
最新评论