MySQL性能优化 出题业务SQL优化

 更新时间:2010年08月07日 21:21:07   作者:  
根据用户的作答结果出练习卷,题目的优先级为:未做过的题目>只做错的题目>做错又做对的题目>只做对的题目。

先简单介绍一下项目背景。这是一个在线考试练习平台,数据库使用MySQL,表结构如图所示:

Question是存储题目的表,数据量在3万左右。AnswerResult表是存储用户作答结果的表,分表之后单表记录大概在300万-400万。

需求:根据用户的作答结果出练习卷,题目的优先级为:未做过的题目>只做错的题目>做错又做对的题目>只做对的题目。

在“做错又做对的题目”中,会按错误次数和正确次数的比例进行权重计算,比如:A、做错10次,做对100次;B、做错10次,做对20次。这时B被选中出给用户练习的概率就大。

备注:AnswerResult表中不存在QuestionId的记录,则代表该题没有做过。

之前使用的方法:

  SELECT Question.题目标识,IFNULL((0-正确次数)/(正确次数+错误次数),1) AS 权重 FROM Question

  LEFT JOIN AnswerResult ON AnswerResult.题目标识 = Question.题目标识

  WHERE 用户标识={UserId}

说明:IFNULL((0-正确次数)/(正确次数+错误次数),1)这个函数式分2部分,

公式:(0-正确次数)/(正确次数+错误次数)得到题目的权重,这个区间为[0,-1],0表示只做错的题目,-1表示只做对的题目。IFNULL(value,1)则将未做过的题目权重设置为1,根据这个权重进行排序列出题目。

由于AnswerResult表是多达300、400百万的表,所以通过LEFT JOIN进行左连接时,迪卡尔乘积过大,又加上AnswerResult是频繁读写的表,很容易导致这条SQL变成慢查询。

性能问题被提上日程后,这条SQL语句就变成的优化点。

1、IFNULL()这个函数计算可以调整成冗余字段。

2、LEFT JOIN的迪卡尔乘积太大,可以调整为冗余或者使用INNER JOIN以提高查询速度。

3、根据需求,其实可以调整出题策略,不同的情况执行不同的SQL,而不需要在同一条SQL中实现。

解决方案针对以上三个点进行调整。虽然Question表有3万条数据,但是出题的场景其实是针对知识点出题,单个知识点题目最多也只有1000题左右,所以获取未做过的题目时,完全可以使用NOT IN走索引来完成。SQL语句如:

  A:SELECT 题目标识 FROM Question WHERE 知识点={KnowledgePointCode} AND 题目标识 NOT IN (

    SELECT 题目标识 FROM AnswerResult INNER JOIN Question AND Question.知识点={KnowledgePointCode}

    WHERE AnswerResult.用户标识 = {UserId}

  )

针对只做错的题目出题练习就简单了(正确次数 = 0代表只做错),SQL如:

  B:SELECT 题目标识 FROM AnswerResult INNER JOIN Question AND Question.知识点={KnowledgePointCode}

  WHERE AnswerResult.用户标识 = {UserId} AND 正确次数 = 0 ORDER BY 错误次数 DESC

若要对做错、做对或者只做对的题目进行出题,SQL就是这样的(已经对权重进行冗余=IFNULL((0-正确次数)/(正确次数+错误次数),1)):

  C:SELECT 题目标识 FROM AnswerResult INNER JOIN Question AND Question.知识点={KnowledgePointCode}

  WHERE AnswerResult.用户标识 = {UserId} AND 正确次数 > 0 ORDER BY 权重 DESC

 

不足:SQL语句A的查询速度依然是较慢的,虽然有缩小NOT IN的结果集,但这里还是有优化点。园子里的朋友们能不能给点建议?

有人说JOIN是SQL的性能杀手,我觉得主要还是怎么去使用JOIN,MySQL的索引优化相当重要,如果JOIN成为性能瓶颈,可以EXPLAIN看看是不是索引没有建好,并且尽量让迪卡尔乘积尽量小。使用冗余数据避免JOIN,当可能变化的冗余数据被分表之后,更新这些冗余数据就是一件非常头痛的事了。海量数据高并发,确实是一件挺头痛的事。

望园子里有这方面经验的朋友不吝赐教。谢谢。

相关文章

  • 为什么MySQL 使用timestamp可以无视时区问题.

    为什么MySQL 使用timestamp可以无视时区问题.

    这篇文章主要介绍了为什么MySQL timestamp可以无视时区问题,帮助大家更好的理解和使用MySQL,感兴趣的朋友可以了解下
    2020-12-12
  • 浅谈MySQL数据库的备份与恢复

    浅谈MySQL数据库的备份与恢复

    MYSQL数据库的备份、恢复等是每一位信息管理人员应必备的能力,因此掌握MYSQL数据库管理的技巧会使您的工作事半功倍,这里我们来简单总结下。
    2017-01-01
  • 配置MySQL与卸载MySQL实例操作

    配置MySQL与卸载MySQL实例操作

    我们主要介绍的是正确通过rpm包安装、对MySQL进行配置与卸载的实际操作步骤,以下就是文章的具体内容描述,望你会有所收获。
    2010-08-08
  • MYSQL存储过程即常用逻辑知识点总结

    MYSQL存储过程即常用逻辑知识点总结

    在本篇文章里小编给大家整理的是关于MYSQL存储过程即常用逻辑知识点,有需要的朋友们可以学习下。
    2019-08-08
  • MySQL OOM 系列三 摆脱MySQL被Kill的厄运

    MySQL OOM 系列三 摆脱MySQL被Kill的厄运

    这篇文章主要介绍了MySQL OOM 系列三 摆脱MySQL被Kill的厄运 ,需要的朋友可以参考下
    2016-07-07
  • Mysql在线回收undo表空间实战记录

    Mysql在线回收undo表空间实战记录

    这篇文章主要给大家介绍了关于Mysql在线回收undo表空间的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Mysql具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-09-09
  • MySQL 密码设置

    MySQL 密码设置

    本文介绍了如何修改一个用户的密码,你可以使用三种方法,GRANT语句、SET PASSWORD语句、直接修改授权表以及使用管理工具mysqladmin。
    2009-04-04
  • ubuntu server配置mysql并实现远程连接的操作方法

    ubuntu server配置mysql并实现远程连接的操作方法

    下面小编就为大家分享一篇ubuntu server配置mysql并实现远程连接的操作方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2017-12-12
  • FROM_UNIXTIME 格式化MYSQL时间戳函数

    FROM_UNIXTIME 格式化MYSQL时间戳函数

    对MYSQL没有进行过深入的研究,基础知识匮乏,一遇到问题只能手册,看来要把MYSQL的学习安排进时间表了。
    2011-04-04
  • MySQL中外键的创建、约束以及删除

    MySQL中外键的创建、约束以及删除

    这篇文章主要给大家介绍了关于MySQL中外键的创建、约束以及删除的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-01-01

最新评论