使用Python如何测试InnoDB与MyISAM的读写性能

更新时间：2018年09月18日 09:19:30 作者：ChrisYZX

网上有很多评论myisam和innodb读写性能对比，所以下面这篇文章主要给大家介绍了关于使用Python如何测试InnoDB与MyISAM读写性能的相关资料，文中通过图文介绍的非常详细，需要的朋友可以参考下

前言

由于近期有个项目对系统性能要求很高，技术选型上由于种种原因已经确定使用Mysql数据库，接下来就是要确定到底使用哪种存储引擎。我们的应用是典型的写多读少，写入内容为也很短，对系统的稳定性要求很高。所以存储引擎肯定就定在广泛使用的Innodb和MyISAM之中了。

至于两者的比较网上也有很多，但是毕竟这个事情也不复杂，决定还是自己来做，去验证一下在我们的场景下谁更优。

本文测试所用工具版本如下：

Tools	Version
MySQL	5.7.18
Python	3.6
Pandas	0.23

① 创建数据表

首先我们需要把两张使用了不同引擎的表创建出来，使用为了方便起见，我们直接使用Navicat创建了两张员工信息表，具体字段如下：

使用InnoDB引擎的表，设计表名为innodb，选项如下：

使用InnoDB引擎的表，设计表名为myisam，选项如下：

因为是简单操作，创建的具体细节就不详述了，至此，我们的数据库就把使用 InnoDB 和 MyISAM 两种引擎的表创建好了。

② 单线程写入性能对比

1. InnoDB 引擎

执行以下代码，往使用了InnoDB引擎的表格插入1000条数据

import pandas as pd
from sqlalchemy import create_engine
import time

db = create_engine('mysql+pymysql://mysql:123456@127.0.0.1:3306/test')
start = time.time()

for i in range(1000):
 data = {'index': i,
   'name': 'name_' + str(i),
   'age': i,
   'salary': i,
   'level': i}
 df = pd.DataFrame(data, index=[0])
 df.to_sql('innodb', db, if_exists='append', index=False)

end = time.time()
print(end - start)

执行3次上面的代码，得到程序写入1000条数据的时间分别为：12.58s、14.10s、12.71s，平均写入时间为 13.13s。

2. MyISAM 引擎

执行以下代码，往使用了MyISAM引擎的表格插入1000条数据

import pandas as pd
from sqlalchemy import create_engine
import time

db = create_engine('mysql+pymysql://mysql:123456@127.0.0.1:3306/test')
start = time.time()

for i in range(1000):
 data = {'index': i,
   'name': 'name_' + str(i),
   'age': i,
   'salary': i,
   'level': i}
 df = pd.DataFrame(data, index=[0])
 df.to_sql('myisam', db, if_exists='append', index=False)

end = time.time()
print(end - start)

执行3次上面的代码，得到程序写入1000条数据的时间分别为：6.64s、6.99s、7.29s，平均写入时间为 6.97s。

两种引擎的单线程写入速度对比如下：

结论：单线程的情况下，MyISAM引擎的写入速度比InnoDB引擎的写入速度快88%

③ 多线程写入性能对比

1. InnoDB 引擎

执行以下代码，往使用了InnoDB引擎的表格插入1000条数据

import pandas as pd
from sqlalchemy import create_engine
import time
from concurrent.futures import ThreadPoolExecutor

db = create_engine('mysql+pymysql://mysql:123456@127.0.0.1:3306/test')
start = time.time()

data_lst = [{'index': i,
    'name': 'name_' + str(i),
    'age': i,
    'salary': i,
    'level': i} for i in range(1000)]

def write(data):
 df = pd.DataFrame(data, index=[0])
 df.to_sql('innodb', db, if_exists='append', index=False)

def execute():
 with ThreadPoolExecutor(max_workers=5) as executor:
  executor.map(write, data_lst)

execute()

end = time.time()
print(end - start)

执行3次上面的代码，得到程序写入1000条数据的时间分别为：4.98s、4.84s、4.88s，平均写入时间为 4.9s。

2. MyISAM 引擎

执行以下代码，往使用了MyISAM引擎的表格插入1000条数据

import pandas as pd
from sqlalchemy import create_engine
import time
from concurrent.futures import ThreadPoolExecutor

db = create_engine('mysql+pymysql://mysql:123456@127.0.0.1:3306/test')
start = time.time()

data_lst = [{'index': i,
    'name': 'name_' + str(i),
    'age': i,
    'salary': i,
    'level': i} for i in range(1000)]

def write(data):
 df = pd.DataFrame(data, index=[0])
 df.to_sql('myisam', db, if_exists='append', index=False)

def execute():
 with ThreadPoolExecutor(max_workers=5) as executor:
  executor.map(write, data_lst)

execute()

end = time.time()
print(end - start)

执行3次上面的代码，得到程序写入1000条数据的时间分别为：3.29s、3.62s、3.47s，平均写入时间为 3.46s。

两种引擎的多线程写入速度对比如下：

结论：多线程的情况下，MyISAM引擎的写入速度比InnoDB引擎的写入速度快42%

④ 读取性能对比

为了获得数据量较大的表用于测试数据库的读取性能，我们循环执行10遍上面多线程写入数据的操作，得到两张数据量为10000条数据的表格，然后读取10遍该表格，获取读取时间

1. InnoDB 引擎

执行以下代码，读取10遍使用了InnoDB引擎的表格

import pandas as pd
from sqlalchemy import create_engine
import time

db = create_engine('mysql+pymysql://mysql:123456@127.0.0.1:3306/test')
start = time.time()

for _ in range(10):
 df = pd.read_sql('innodb', db)

end = time.time()
print(end - start)

执行3次上面的代码，得到程序10次读取10000条数据的时间分别为：28.94s、28.88s、28.48s，平均写入时间为 28.77s。

2. MyISAM 引擎

执行以下代码，读取10遍使用了MyISAM引擎的表格

import pandas as pd
from sqlalchemy import create_engine
import time

db = create_engine('mysql+pymysql://mysql:123456@127.0.0.1:3306/test')
start = time.time()

for _ in range(10):
 df = pd.read_sql('innodb', db)

end = time.time()
print(end - start)

执行3次上面的代码，得到程序10次读取10000条数据的时间分别为：28.51s、29.12s、28.76s，平均写入时间为 28.8s。

两种引擎的读取速度对比如下：

结论：MyISAM引擎和InnoDB引擎的读取速度无明显差异

⑤ 总结

1. 写入速度，MyISAM比InnoDB快，单线程的情况下，两者差异尤为明显

2. 读取速度，InnoDB和MyISAM无明显差异

好了，以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对脚本之家的支持。

您可能感兴趣的文章:

python实现人机对战的五子棋游戏
这篇文章主要为大家详细介绍了python实现人机对战的五子棋游戏，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2022-04-04
Python之Matlibplot画图功能演示过程
这篇文章主要介绍了Python之Matlibplot画图功能演示过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2023-09-09
关于Django框架的关系模型序列化和一对多关系中的序列化解析
序列化的意思是把字典的形式转化成Json格式。当我们展示数据的时候需要使用,反序列化的话，就是Json转成字典形式，存储数据时候使用,需要的朋友可以参考下
2023-05-05
Python中最大递归深度值的探讨
今天小编就为大家分享一篇关于Python中最大递归深度值的探讨，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
2019-03-03
Flask中特殊装饰器的使用
在Flask中,before_request和after_request是用作装饰器的特殊函数,本文主要介绍了Flask中特殊装饰器的使用,具有一定的参考价值,感兴趣的可以了解一下
2023-12-12
python三大器之装饰器详解
这篇文章主要介绍了Python中的装饰器,涉及到Python中很多重要的特性,小编觉得这篇文章写的还不错，需要的朋友可以参考下
2021-10-10
python脚本和网页有何区别
在本篇文章里小编给大家整理的是关于python脚本和网页的区别点总结，有兴趣的朋友们可以学习下。
2020-07-07
Python实现批量备份交换机配置+自动巡检
这篇文章主要为大家详细介绍了Python实现批量备份交换机配置+自动巡检的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
2023-11-11
Python超有趣实例通过冒泡排序来实现LOL厄斐琉斯控枪
冒泡排序是一种简单的排序算法，它也是一种稳定排序算法。其实现原理是重复扫描待排序序列，并比较每一对相邻的元素，当该对元素顺序不正确时进行交换。一直重复这个过程，直到没有任何两个相邻元素可以交换，就表明完成了排序
2022-05-05
Python安装模块的常见问题及解决方法
下面小编就为大家分享一篇Python安装模块的常见问题及解决方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-02-02