详解多线程Django程序耗尽数据库连接的问题
更新时间：2018年10月08日 08:50:55 作者：赖勇浩
这篇文章主要介绍了多线程Django程序耗尽数据库连接的问题，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Django的ORM是非常好用的，哪怕不是做Web项目也值得一用，所以网上也可以找到不少使用 Django 开发非Web项目的资料，因为除了ORM之个，命令行、配置文件等组件也非常好用。
最近用这种方式开发了一个非Web项目，而且是多线程的。有N个工作线程从DB中获取jobs，并把结果写回DB。简单来说就是这样。
项目运行一段时间后，发现数据库连接耗尽了，幸好内存大，然后一直往上调，最后连接数都上九千多一万了。耗尽连接数的时候，PostgreSQL 会出现类似这样的错误：
FATAL: remaining connection slots are reserved for non-replication superuser connections
然后就各种看文档、代码，找问题，其中艰难略下不表，最后大概是这么些个知识点：
- Django里的数据库连接是放在线程的 local() 实例中的。
- 任何时候，需要一个数据库连接的话，Django就会创建一条出来，或者用本线程已有的那条。
- 如果是Web项目，在请求结束的时候，Django会去关闭掉连接。是的，没有连接池。
- 因为我们是非Web项目，所以不存在请求结束事件，所以一直没的关闭连接。但本来这个应该也不会造成问题的，因为没关闭就一直用呗，但不知道哪里出了问题，会出现连接泄漏，所以连接数据会一直增长。
最后的解决方案是找时机主动关闭数据库连接，具体到我们项目，就是每次工作线程完成一个任务后，就把它相关的连接关掉，因为我们用的是 ThreadPoolExecutor ，所以Django很容易做到这一点。
重点代码如下：
from django.db import connections
def on_done(future):
# 因为每一个线程都有一个 connections，所以这里可以调用 close_all()，把本线程名下的所有连接关闭。
connections.close_all()
def main():
# ...
with ThreadPoolExecutor() as executor:
while True:
future = executor.submit(do, get_a_job())
future.add_done_callback(on_done)
主动关闭后，数据库连接数降到与工作线程数相近，并保持稳定。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
PIL.Image.open和cv2.imread的比较与相互转换的方法
这篇文章主要介绍了PIL.Image.open和cv2.imread的比较与相互转换的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-06-06
这篇文章主要介绍了Django之路由层的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-09-09
这篇文章主要为大家详细介绍了win10 64bit下python NLTK安装教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-09-09
这篇文章主要介绍了python实现简单的udp发送和接收方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-09-09
排序算法是在高考或中考中出现频率最多的点，所以大家要掌握，今天小编给大家带来了通过Python一行代码实现快速排序的方法，感兴趣的朋友跟随小编一起看看吧2019-04-04
这篇文章主要介绍了Django零基础入门之静态文件的引用，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-09-09
图像标注在计算机视觉中很重要，计算机视觉是一种技术，它允许计算机从数字图像或视频中获得高水平的理解力，并以人类的方式观察和解释视觉信息，本文将重点讨论在OpenCV的帮助下创建这些注释，感兴趣的朋友一起看看吧2022-06-06
keras中模型训练class_weight,sample_weight区别说明
这篇文章主要介绍了keras中模型训练class_weight,sample_weight区别说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
Python计算库numpy进行方差/标准方差/样本标准方差/协方差的计算
今天小编就为大家分享一篇关于Python计算库numpy进行方差/标准方差/样本标准方差/协方差的计算，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2018-12-12
这篇文章主要为大家详细介绍了Python中的eventlet通信机制的相关知识，文中的示例代码讲解详细，对我们深入了解Python有一定帮助，需要的可以参考一下2023-06-06
最新评论