Python性能调优的十个小技巧总结

 更新时间:2021年11月19日 09:51:43   作者:Python学习与数据挖掘  
大家好,今天这篇文章关于Python性能调优的10个小技巧,每天花5-10分钟阅读我的文章,对你技术提升一定会有帮助。喜欢记得收藏以防迷路

1 多多使用列表生成式

替换下面代码:

cube_numbers = []
  for n in range(0,10):
    if n % 2 == 1:
      cube_numbers.append(n**3)

为列表生成式写法:

cube_numbers = [n**3 for n in range(1,10) if n%2 == 1]

2 内置函数

尽可能多使用下面这些内置函数:

图片

3 尽可能使用生成器

单机处理较大数据量时,生成器往往很有用,因为它是分小片逐次读取,最大程度节省内存,如下网页爬取时使用yield

import requests
import re

def get_pages(link):
  pages_to_visit = []
  pages_to_visit.append(link)
  pattern = re.compile('https?')
  while pages_to_visit:
    current_page = pages_to_visit.pop(0)
    page = requests.get(current_page)
    for url in re.findall('<a href="([^" rel="external nofollow" ]+)">', str(page.content)):
      if url[0] == '/':
        url = current_page + url[1:]
      if pattern.match(url):
        pages_to_visit.append(url)
    # yield
    yield current_page
webpage = get_pages('http://www.example.com')
for result in webpage:
  print(result)

4 判断成员所属关系最快的方法使用 in

for name in member_list:
  print('{} is a member'.format(name))

5 使用集合求交集

替换下面代码:

a = [1,2,3,4,5]
b = [2,3,4,5,6]

overlaps = []
for x in a:
  for y in b:
    if x==y:
      overlaps.append(x)

print(overlaps)

修改为set和求交集:

a = [1,2,3,4,5]
b = [2,3,4,5,6]

overlaps = set(a) & set(b)

print(overlaps)

6 多重赋值

Python支持多重赋值的风格,要多多使用

first_name, last_name, city = "Kevin", "Cunningham", "Brighton"

7 尽量少用全局变量

Python查找最快、效率最高的是局部变量,查找全局变量相对变慢很多,因此多用局部变量,少用全局变量。

8 高效的itertools模块

itertools模块支持多个迭代器的操作,提供最节省内存的写法,因此要多多使用,如下求三个元素的全排列:

import itertools
iter = itertools.permutations(["Alice", "Bob", "Carol"])
list(iter)

9 lru_cache 缓存

位于functools模块的lru_cache装饰器提供了缓存功能,如下结合它和递归求解斐波那契数列第n:

import functools

@functools.lru_cache(maxsize=128)
def fibonacci(n):
  if n == 0:
    return 0
  elif n == 1:
    return 1
  return fibonacci(n - 1) + fibonacci(n-2)

因此,下面的递归写法非常低效,存在重复求解多个子问题的情况:

def fibonacci(n):
  if n == 0: # There is no 0'th number
    return 0
  elif n == 1: # We define the first number as 1
    return 1
  return fibonacci(n - 1) + fibonacci(n-2)

10 内置函数、key和itemgetter

上面提到尽量多使用内置函数,如下对列表排序使用keyoperator.itemgetter

import operator
my_list = [("Josh", "Grobin", "Singer"), ("Marco", "Polo", "General"), ("Ada", "Lovelace", "Scientist")]
my_list.sort(key=operator.itemgetter(0))
my_list

技术交流

欢迎转载、收藏、有所收获点赞支持一下!

在这里插入图片描述

到此这篇关于Python性能调优的十个小技巧总结的文章就介绍到这了,更多相关Python 性能调优内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • CentOS中使用virtualenv搭建python3环境

    CentOS中使用virtualenv搭建python3环境

    virtualenv可以搭建虚拟且独立的python环境,可以使每个项目环境与其他项目独立开来,保持环境的干净,解决包冲突问题。下面我们来详细探讨下centos中如何来搭建。
    2015-06-06
  • python抓取京东价格分析京东商品价格走势

    python抓取京东价格分析京东商品价格走势

    本文介绍使用python抓取京东价格的代码,用于分析京东商品价格走势或者用于其它,大家参考使用吧
    2014-01-01
  • 使用pyecharts生成Echarts网页的实例

    使用pyecharts生成Echarts网页的实例

    今天小编就为大家分享一篇使用pyecharts生成Echarts网页的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08
  • python决策树之C4.5算法详解

    python决策树之C4.5算法详解

    这篇文章主要为大家详细介绍了python决策树之C4.5算法的相关资料,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-12-12
  • Windows下为Python安装Matplotlib模块

    Windows下为Python安装Matplotlib模块

    这篇文章主要介绍了如何在Windows下为Python安装Matplotlib模块的方法,非常的详细,而且附上了官方的下载地址,小伙伴们操作起来应该毫无压力了。
    2015-11-11
  • python3实现抓取网页资源的 N 种方法

    python3实现抓取网页资源的 N 种方法

    这两天学习了python3实现抓取网页资源的方法,发现了很多种方法,所以,今天添加一点小笔记。
    2017-05-05
  • Django代码性能优化与Pycharm Profile使用详解

    Django代码性能优化与Pycharm Profile使用详解

    本文通过一个简单的实例一步一步引导读者对其进行全方位的性能优化,这篇文章主要给大家介绍了关于Django代码性能优化与Pycharm Profile使用的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下
    2018-08-08
  • 超好玩的"隔空操物"通过Python MediaPipe库实现

    超好玩的"隔空操物"通过Python MediaPipe库实现

    这篇文章主要介绍了python+mediapipe+opencv实现手部关键点检测功能(手势识别),本文仅仅简单介绍了mediapipe的使用,而mediapipe提供了大量关于图像识别等的方法,需要的朋友可以参考下
    2022-01-01
  • Python matplotlib实现多重图的绘制

    Python matplotlib实现多重图的绘制

    Matplotlib作为Python的2D绘图库,它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形。本文将利用Matplotlib库绘制多重图,感兴趣的可以了解一下
    2022-03-03
  • 利用ctypes获取numpy数组的指针方法

    利用ctypes获取numpy数组的指针方法

    今天小编就为大家分享一篇利用ctypes获取numpy数组的指针方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-02-02

最新评论