python自动结束mysql慢查询会话的实例代码

 更新时间:2019年10月27日 14:23:47   作者:微微  
这篇文章主要介绍了python自动结束mysql慢查询会话,主要涉及到了mysql慢查询会话查询,定时任务的相关知识,本文通过实例代码给大家介绍的非常详细,需要的朋友可以参考下

生产环境的有些sql查询写得太复杂,或是表很大,对应索引未建立或建立不合理,或是查询未充分使用索引等,就有可能出现慢查询,一些慢查询需要修改程序,可能没那么快能解决,这时如果有个脚本能自动检测符合条件的慢查询会话并结束,那么是很方便的,当然运维人员也可顺便弄个检测慢查询并告警的脚本。

涉及知识点

  • mysql慢查询会话查询
  • schedule定时任务调度
  • pymysql执行sql

代码分解

mysql慢查询

#会话查询,只能查询所有会话,不能按条件过滤,不过比较好记
show PROCESSLIST;
#从information_schema中查询会话,可以按条件过滤
SELECT
 *
FROM
 information_schema.`PROCESSLIST`;
#查询符合条件的慢会话,id是会话ID,info是正在执行的sql,time是会话持续时间,杀会话时注意要做好过滤
SELECT
 id,
 info,
 time
FROM
 information_schema.`PROCESSLIST`
WHERE
 info LIKE '%select * from table%'
AND time > 10;
#直接使用sql批量杀会话,拼接kill xxx;后,拷贝了在控制台执行
SELECT
 concat('KILL ', id, ';')
FROM
 information_schema.`PROCESSLIST`
WHERE
 info LIKE '%select * from table%'
AND time > 10;

脚本主入口

if __name__ == '__main__':
 #每5秒执行检查任务
 schedule.every(5).seconds.do(kill_slow)
 #此处固定写法,意思是每秒钟schedule看下是否有pending的任务,有就执行
 while True:
  schedule.run_pending()
  time.sleep(1)
schedule的其它示例
import schedule
import time
def job(message='stuff'):
 print("I'm working on:", message)
#每10分钟
schedule.every(10).minutes.do(job)
#每小时
schedule.every().hour.do(job, message='things')
#每天10点30分
schedule.every().day.at("10:30").do(job)
while True:
 schedule.run_pending()
 time.sleep(1)

pymysql使用

# 连接数据库,设置结果集用dict返回,autocommit自动提交事务
db = pymysql.connect(host='localhost', db='dbname',
      user='root', passwd='admin',
      port=3306, charset='utf8',
      cursorclass=pymysql.cursors.DictCursor, autocommit=True)
cursor = db.cursor()

查询符合条件的慢会话并结束

def kill_slow():
  cursor.execute(
    """
    SELECT
      id,
      info,
      time
    FROM
      information_schema.`PROCESSLIST`
    WHERE
      info LIKE '%select * from table%'
    AND time > 10;
    """)
  slow_sessions = cursor.fetchall()
  for slow_session in slow_sessions:
    print("slow session detected, kill it:\n id:%s\nsql:%s" % (
      slow_session[0], slow_session[1]))
    cursor.execute("kill %s", slow_session[0])

完整代码

import time
import pymysql
import schedule
# 连接数据库,设置结果集用dict返回,autocommit自动提交事务
db = pymysql.connect(host='localhost', db='dbname',
           user='root', passwd='admin',
           port=3306, charset='utf8',
           cursorclass=pymysql.cursors.DictCursor, autocommit=True)
cursor = db.cursor()
def kill_slow():
  cursor.execute(
    """
    SELECT
      id,
      info,
      time
    FROM
      information_schema.`PROCESSLIST`
    WHERE
      info LIKE '%select * from table%'
    AND time > 10;
    """)
  slow_sessions = cursor.fetchall()
  for slow_session in slow_sessions:
    print("slow session detected, kill it:\n id:%s\nsql:%s" % (
      slow_session[0], slow_session[1]))
    cursor.execute("kill %s", slow_session[0])
if __name__ == '__main__':
  # 每5秒执行检查任务
  schedule.every(5).seconds.do(kill_slow)
  # 此处固定写法,意思是每秒钟schedule看下是否有pending的任务,有就执行
  while True:
    schedule.run_pending()
    time.sleep(1)

总结

以上所述是小编给大家介绍的python自动结束mysql慢查询会话的实例代码,希望对大家有所帮助!

相关文章

  • django框架F&Q 聚合与分组操作示例

    django框架F&Q 聚合与分组操作示例

    这篇文章主要介绍了django框架F&Q 聚合与分组操作,结合实例形式详细分析了Django框架查询条件取对象中某列值、构建搜索条件以及聚合查询等相关操作技巧,需要的朋友可以参考下
    2019-12-12
  • 使用Pandas进行Excel数据处理的操作和技巧

    使用Pandas进行Excel数据处理的操作和技巧

    在数据处理和分析的过程中,Excel是一个非常常见的工具,然而,当数据量变大,操作复杂度增加时,Excel的效率和功能可能无法满足需求,Pandas是一个强大的Python数据处理库,本文将介绍如何使用Pandas进行Excel数据处理,并展示一些常见的操作和技巧
    2023-11-11
  • Python编程ContextManager上下文管理器讲解

    Python编程ContextManager上下文管理器讲解

    这篇文章主要介绍了Python编程中对Context Manager上下文管理器的详解说明,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步
    2021-09-09
  • python 图片二值化处理(处理后为纯黑白的图片)

    python 图片二值化处理(处理后为纯黑白的图片)

    这篇文章主要介绍了python 图片二值化处理(处理后为纯黑白的图片),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-11-11
  • 网易2016研发工程师编程题 奖学金(python)

    网易2016研发工程师编程题 奖学金(python)

    这篇文章主要为大家详细介绍了网易2016研发工程师编程题:奖学金(python),具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-06-06
  • PyTorch之关于hook机制

    PyTorch之关于hook机制

    这篇文章主要介绍了PyTorch之关于hook机制的理解,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • Python自动检测SSL证书是否过期的实现示例

    Python自动检测SSL证书是否过期的实现示例

    SSL证书是有有效期的,一旦过期就会失效,从而带来安全风险,本文主要介绍了Python自动检测SSL证书是否过期的实现示例,具有一定的参考价值,感兴趣的可以了解一下
    2023-11-11
  • Python之关于类变量的两种赋值区别详解

    Python之关于类变量的两种赋值区别详解

    这篇文章主要介绍了Python之关于类变量的两种赋值区别详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-03-03
  • Sanic框架流式传输操作示例

    Sanic框架流式传输操作示例

    这篇文章主要介绍了Sanic框架流式传输操作,结合实例形式分析了Sanic通过流请求与响应传输操作相关实现技巧与注意事项,需要的朋友可以参考下
    2018-07-07
  • Django ModelSerializer实现自定义验证的使用示例

    Django ModelSerializer实现自定义验证的使用示例

    本文主要介绍了Django ModelSerializer实现自定义验证的使用示例,多种字段验证器帮助开发者确保数据的完整性和准确性,具有一定的参考价值,感兴趣的可以了解一下
    2023-11-11

最新评论