用sqlalchemy构建Django连接池的实例
都知道django每次请求都会连接数据库和释放数据库连接。Django为每个请求使用新的数据库连接。一开始这个方法行得通。然而随着服务器上的负载的增加,创建/销毁连接数据库开始花大量的时间。要避免这个,你可以使用数据库连接池,这里使用SQLAlchemy的连接池。使Django持久化数据库连接。
但这种方法会改变django的代码。对框架有侵入
方法 1
实现方法如下:
把django/db/backends/mysql文件夹全部拷贝出来,放在项目的一个libs/mysql下面,然后修改base.py文件。
或者把django/db/backends/mysql文件夹在django/db/backends/下面复制为mysql_pool文件夹,将base.py中所以import中的mysql替换为mysql_pool,这样可以直接在settings.py中设置'ENGINE':'django.db.backends.mysql_pool'
找到
try: import MySQLdb as Database except ImportError as e: from django.core.exceptions import ImproperlyConfigured raise ImproperlyConfigured("Error loading MySQLdb module: %s" % e)
这段代码,在下面添加:
from sqlalchemy import pool Database = pool.manage(Database[,recycle=DATABASE_WAIT_TIMEOUT-1]) #其中DATABASE_WAIT_TIMEOUT为你定义的连接超时时间,必须小于等于mysql里面的wait_timeout()
结果如下
try: import MySQLdb as Database except ImportError as e: from django.core.exceptions import ImproperlyConfigured raise ImproperlyConfigured("Error loading MySQLdb module: %s" % e) from sqlalchemy import pool Database = pool.manage(Database)
然后找到get_connection_params(self)函数代码:
def get_connection_params(self): kwargs = { 'conv':django_conversions, 'charset':utf8 } ...
修改为:
def get_connection_params(self): kwargs = { 'charset':utf8 } ...
注意:如果不改变此处的kwargs,将会出现:TypeError:unhashable type:'dict' 的错误。
原样用kwargs传的话,sqlalchemy的pool会报unhashable错误,那是因为kwargs中有个key(conv)对应的value(django_conversions)是个字典,在pool中会把(key,value)组成元组作为新的key保存在pool中,但是因为value(django_conversions)是dict,不允许作为key的
在mysql里使用 show status 或 show processlist查看连接情况
方法 2
直接在settings.py同级目录下的init.py文件中添加如下代码
from django.conf import settings from django.db.utils import load_backend import sqlalchemy.pool as pool import logging pool_initialized=False def init_pool(): if not globals().get('pool_initialized', False): global pool_initialized pool_initialized = True try: backendname = settings.DATABASES['default']['ENGINE'] backend = load_backend(backendname) #replace the database object with a proxy. backend.Database = pool.manage(backend.Database) backend.DatabaseError = backend.Database.DatabaseError backend.IntegrityError = backend.Database.IntegrityError logging.info("Connection Pool initialized") except: logging.exception("Connection Pool initialization error") init_pool()
然后修改django/db/backends/mysql/base.py文件
找到get_connection_params(self)函数代码:
修改为:
def get_connection_params(self): kwargs = { 'charset':utf8 } ...
同理,不修改kwargs将会出现:TypeError:unhashable type:'dict' 的错误。
以上两种方法都要改变django的代码,有一定入侵性,第二种方法改变要小一点
django 1.7
python 2.7
sqlalchemy 1.0
这篇用sqlalchemy构建Django连接池的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
相关文章
Python3+Appium安装及Appium模拟微信登录方法详解
这篇文章主要介绍了Python3+Appium安装及使用方法详解,需要的朋友可以参考下2021-02-02python人工智能tensorflow函数tf.get_variable使用方法
这篇文章主要为大家介绍了python人工智能tensorflow函数tf.get_variable使用方法示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2022-05-05Python 操作 MongoDB数据库的方法(非 ODM)
这篇文章主要介绍了Python 操作 MongoDB ----非 ODM的方法,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2023-03-03Python2.7基于笛卡尔积算法实现N个数组的排列组合运算示例
这篇文章主要介绍了Python2.7基于笛卡尔积算法实现N个数组的排列组合运算,涉及Python笛卡尔积算法及排列组合操作相关实现技巧,需要的朋友可以参考下2017-11-11
最新评论