Django项目优化数据库操作总结

 更新时间:2021年09月08日 11:58:45   作者:gf_lvah  
这篇文章主要介绍了Django项目中优化数据库操作总结,有需要的朋友可以借鉴参考下,希望可以有所帮助,祝大家共进步,早日升职加薪

参考网址:Django官方数据库优化

使用 QuerySet.explain() 来了解你的数据库是如何执行特定的 QuerySet 的。

你可能还想使用一个外部项目,比如 django-debug-toolbar ,或者一个直接监控数据库的工具。

合理的创建索引

索引可能有助于加快查询速度,但是也要注意索引会占用磁盘空间,创建不必要的索引只会形成浪费。数据库表中的主键、外键、唯一键默认会创建索引。
那么哪些字段需要创建索引呢?这是一个好的且令人疑惑的问题,下面列出的几条可以作为参照意见:

  • 频繁出现在WHERE条件子句的字段(也就是Django里filter筛选的字段)
  • 经常被用来分组(group by)或者排序(order by)的字段
  • 在经常存取的多个列上创建复合索引,但要注意复合索引的顺序要按照使用的频度来决定
class ModelName(models.Model):
	# 字段添加索引使用db_index
	name = models.CharField(db_index=True, max_length=100)
	class Meta:
		# 联合唯一索引使用index_together
		index_together = ('字段1', '字段2')

设置数据库持久连接

减少SQL的执行次数

多次访问数据库比单次查询所有内容的效率低。因此理解并学会使用 select_related() 和 prefetch_related() 。

select_related():创建一个 SQL 连接,并在 SELECT 语句中包含相关对象的字段。一般用于一对多(ForeignKey)和一对一(OneToOneField)关系

# 标准查询
# Hits the database.
e = Entry.objects.get(id=5)
# Hits the database again to get the related Blog object.
b = e.blog
# select_related 查询
# Hits the database.
e = Entry.objects.select_related('blog').get(id=5)
# Doesn't hit the database, because e.blog has been prepopulated
# in the previous query.
b = e.blog

prefetch_related(): 一般用于多对一(GenericForeignKey)和多对多(ManyToManyField)关系

from django.db import models
class Topping(models.Model):
    name = models.CharField(max_length=30)
class Pizza(models.Model):
    name = models.CharField(max_length=50)
    toppings = models.ManyToManyField(Topping)
    def __str__(self):
        return "%s (%s)" % (
            self.name,
            ", ".join(topping.name for topping in self.toppings.all()),
        )
# Good
pizza.objects.all().prefetch_related('toppings')


仅获取需要的字段数据

使用 QuerySet.values() 和 values_list()

使用 QuerySet.defer() 和 only()

使用 QuerySet.count()

使用 QuerySet.exists()

请不要过度使用 count() 和 exists()

使用批量创建、更新和删除,不随意对结果排序

批量创建: 当创建对象时,尽可能使用 bulk_create() 方法来减少 SQL 查询数量。比如:

# Good
Entry.objects.bulk_create([
    Entry(headline='This is a test'),
    Entry(headline='This is only a test'),
])
# Bad
Entry.objects.create(headline='This is a test')
Entry.objects.create(headline='This is only a test')

批量更新: 当更新对象时,尽可能使用 bulk_update() 方法来减少 SQL 查询数。给定对象的列表或查询集:

# Good
entries[0].headline = 'This is not a test'
entries[1].headline = 'This is no longer a test'
Entry.objects.bulk_update(entries, ['headline'])
# Bad
entries[0].headline = 'This is not a test'
entries[0].save()
entries[1].headline = 'This is no longer a test'
entries[1].save()

批量插入: 当插入对象到 ManyToManyFields 时,使用带有多个对象的 add() 来减少 SQL 查询的数量。

举例:

# Good
my_band.members.add(me, my_friend)
# Bad
my_band.members.add(me)
my_band.members.add(my_friend)
# Good
PizzaToppingRelationship = Pizza.toppings.through
PizzaToppingRelationship.objects.bulk_create([
    PizzaToppingRelationship(pizza=my_pizza, topping=pepperoni),
    PizzaToppingRelationship(pizza=your_pizza, topping=pepperoni),
    PizzaToppingRelationship(pizza=your_pizza, topping=mushroom),
], ignore_conflicts=True)
# Bad
my_pizza.toppings.add(pepperoni)
your_pizza.toppings.add(pepperoni, mushroom)

批量删除: 当从 ManyToManyFields 删除对象时,可以使用带有多个对象的 remove() 来减少 SQL 查询的数量。

比如:

# Good
my_band.members.remove(me, my_friend)
# Bad
my_band.members.remove(me)
my_band.members.remove(my_friend)
# Good
from django.db.models import Q
PizzaToppingRelationship = Pizza.toppings.through
PizzaToppingRelationship.objects.filter(
    Q(pizza=my_pizza, topping=pepperoni) |
    Q(pizza=your_pizza, topping=pepperoni) |
    Q(pizza=your_pizza, topping=mushroom)
).delete()
# Bad
my_pizza.toppings.remove(pepperoni)
your_pizza.toppings.remove(pepperoni, mushroom)

以上就是Django项目优化数据库操作总结的详细内容,更多关于Django项目优化数据库的资料请关注脚本之家其它相关文章!

相关文章

  • Navicat for MySQL 乱码问题解决方法

    Navicat for MySQL 乱码问题解决方法

    这篇文章主要介绍了Navicat for MySQL 乱码问题解决方法,Navcat是Windows常用的Mysql管理软件,本文讲解它出现乱码的解决方法,需要的朋友可以参考下
    2015-02-02
  • clickhouse系统表日志清理方式详解

    clickhouse系统表日志清理方式详解

    这篇文章主要为大家介绍了clickhouse系统表日志清理方式详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-02-02
  • mycat在windows环境下的安装和启动

    mycat在windows环境下的安装和启动

    这篇文章主要介绍了mycat在windows环境下的安装和启动过程,需要的朋友参考下吧
    2018-03-03
  • 复杂系统中的用户权限数据库设计解决方案

    复杂系统中的用户权限数据库设计解决方案

    这篇文章主要介绍了复杂系统中的用户权限数据库设计解决方案,针对大型、复杂的B/S系统,需要的朋友可以参考下
    2014-06-06
  • Dbeaver做数据迁移的详细过程记录

    Dbeaver做数据迁移的详细过程记录

    DBeaver是一款跨平台的通用数据库开源管理工具,支持 MySQL,PostgreSQL,Oracle,DB2,MSSQL,Sybase,Mimer,HSQLDB,Derby以及其他兼容JDBC的数据库,下面这篇文章主要给大家介绍了关于Dbeaver做数据迁移的详细过程,需要的朋友可以参考下
    2023-05-05
  • 数据库语言分类DDL、DCL、DML详解

    数据库语言分类DDL、DCL、DML详解

    今天小编就为大家分享一篇关于数据库语言分类DDL、DCL、DML详解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-03-03
  • 详解数据库中跨库数据表的运算

    详解数据库中跨库数据表的运算

    跨库数据表,是指逻辑上同一张数据表被分别存储在不同数据库中。接下来通过本文给大家介绍数据库中跨库数据表的运算方法,感兴趣的朋友跟随小编一起看看吧
    2018-11-11
  • DBeaver执行外部sql文件详细图文教程

    DBeaver执行外部sql文件详细图文教程

    DBeaver最近才使用,以前使用的PL/SQL,有些不是很熟悉,记录下来,下面这篇文章主要给大家介绍了关于DBeaver执行外部sql文件的相关资料,文中通过图文介绍的非常详细,需要的朋友可以参考下
    2023-06-06
  • MyBatis获取数据库自生成的主键Id详解及实例代码

    MyBatis获取数据库自生成的主键Id详解及实例代码

    这篇文章主要介绍了MyBatis获取数据库自生成的主键Id详解及实例代码的相关资料,需要的朋友可以参考下
    2017-05-05
  • Navicat Premium 15 linux 安装与激活 ArchLinux 2022最新教程(完整激活版)

    Navicat Premium 15 linux 安装与激活 ArchLinux 2022最新教程(完整激活

    navicat premium mac是一款强大数据库管理软件,通过navicat premium 15 用户快速轻松地构建,管理和维护您的数据库,结合了其他Navicat软件使用更有意想不到的功能,这篇文章主要介绍了Navicat Premium 15 linux 安装与激活 ArchLinux 2022,需要的朋友可以参考下
    2023-01-01

最新评论