我是如何用2个Unix命令给MariaDB SQL提速的

 更新时间:2018年08月11日 23:09:40   作者:薛命灯   我要评论
我试图在 MariaDB(MySQL)上运行一个简单的连接查询,但性能简直糟糕透了。下面将介绍我是如何通过两个简单的 Unix 命令,将查询时间从 380 小时降到 12 小时以下的,需要的朋友可以参考下

译者 | 薛命灯

我试图在 MariaDB(MySQL)上运行一个简单的连接查询,但性能简直糟糕透了。下面将介绍我是如何通过两个简单的 Unix 命令,将查询时间从 380 小时降到 12 小时以下的。

下面就是这个查询,它是 GHTorrent 分析的一部分,我使用了关系在线分析处理框架 simple-rolap 来实现这个分析。

select distinct
project_commits.project_id,
date_format(created_at, ‘%x%v1') as week_commit
from project_commits
left join commits
on project_commits.commit_id = commits.id;

两个连接字段都有索引。不过,MariaDB 是通过对 project_commits 进行全表扫描和对 commits 进行索引查找来实现连接的。这可以从 EXPLAIN 的输出看出来。

这两个表中的记录比较多:project_commits 有 50 亿行记录,commits 有 8.47 亿行记录。服务器的内存比较小,只有 16GB。所以很可能是因为内存放不下那么大的索引,需要读取磁盘,因此严重影响到了性能。从 pmonitor 对临时表的分析结果来看,这个查询已经运行半天了,还需要 373 个小时才能运行完。

/home/mysql/ghtorrent/project_commits#P#p0.MYD 6.68% ETA 373:38:11

在我看来,这个太过分了,因为排序合并连接(sort-merge join)所需的 I/O 时间应该要比预计的执行时间要低一个数量级。我在 dba.stackexchange.com 上寻求帮助,有人给出了一些建议让我尝试,但我没有信心它们能够解决我的问题。我尝试了第一个建议,结果并不乐观。尝试每个建议都需要至少半天的时间,后来,我决定采用一种我认为可以有效解决这个问题的办法。

我将这两个表导出到文件中,使用 Unix 的 join 命令将它们连接在一起,将结果传给 uniq,把重复的行移除掉,然后将结果导回到数据库。导入过程(包括重建索引)从 20:41 开始,到第二天的 9:53 结束。以下是具体操作步骤。

1. 将数据库表导出为文本文件

我先导出连接两个表需要用到的字段,并按照连接字段进行排序。为了确保排序顺序与 Unix 工具的排序顺序兼容,我将字段转换为字符类型。

我将以下 SQL 查询的输出保存到文件 commits_week.txt 中。

select cast(id as char) as cid,
date_format(created_at, ‘%x%v1') as week_commit
from commits
order by cid;

然后将以下 SQL 查询的输出保存到 project_commits.txt 文件中:

select cast(commit_id as char) as cid, project_id
from project_commits
order by cid;

这样就生成了以下两个文件。

-rw-r–r– 1 dds dds 15G Aug 4 21:09 commits_week.txt

-rw-r–r– 1 dds dds 93G Aug 5 00:36 project_commits.txt

为了避免内存不足,我使用 –quick 选项来运行 mysql 客户端,否则客户端会在输出结果之前尝试收集所有的记录。

2. 使用 Unix 命令行工具处理文件

接下来,我使用 Unix 的 join 命令来连接这两个文本文件。这个命令线性扫描两个文件,并将第一个字段相同的记录组合在一起。由于文件中的记录已经排好序,因此整个过程完成得很快,几乎就是 I/O 的速度。我还将连接的结果传给 uniq,用以消除重复记录,这就解决了原始查询中的 distinct 问题。同样,在已经排好序的输出结果上,可以通过简单的线性扫描完成去重。

这是我运行的 Unix 命令。

join commits_week.txt project_commits.txt | uniq >joined_commits.txt

经过一个小时的处理,我得到了想要的结果。

-rw-r–r– 1 dds dds 133G Aug 5 01:40 joined_commits.txt

3. 将文本文件导回数据库

最后,我将文本文件导回数据库。

create table half_life.week_commits_all (
project_id INT(11) not null,
week_commit CHAR(7)) ENGINE=MyISAM;
load data local infile ‘joined_commits.txt'
into table half_life.week_commits_all
fields terminated by ‘ ‘;

结语

理想情况下,MariaDB 应该支持排序合并连接,并且在预测到备用策略的运行时间过长时,优化器应该使用排序合并连接。但在此之前,使用 70 年代设计的 Unix 命令就可以解决这个问题。

相关文章

  • mariadb 在低配 VPS 上崩溃问题处理方案

    mariadb 在低配 VPS 上崩溃问题处理方案

    本文给大家分享的是mariadb 在低配 VPS 上启动时崩溃问题的处理方案,附上解决过程,有需要的小伙伴可以参考下
    2016-09-09
  • Window7安装MariaDB数据库及系统初始化操作分析

    Window7安装MariaDB数据库及系统初始化操作分析

    这篇文章主要介绍了Window7安装MariaDB数据库及系统初始化操作,简明扼要的分析了Windows7平台上安装mariadb数据库的步骤、配置方法及相关注意事项,需要的朋友可以参考下
    2018-05-05
  • 详解Centos 使用YUM安装MariaDB

    详解Centos 使用YUM安装MariaDB

    这篇文章主要介绍了详解Centos 使用YUM安装MariaDB的相关资料,需要的朋友可以参考下
    2015-09-09
  • CentOS6.7系统中编译安装MariaDB数据库

    CentOS6.7系统中编译安装MariaDB数据库

    本文主要是给大家详细讲述了如何在CentOS6.7系统中编译安装MariaDB数据库,有需要的小伙伴可以参考下
    2016-11-11
  • MongoDB快速入门笔记(八)之MongoDB的java驱动操作代码讲解

    MongoDB快速入门笔记(八)之MongoDB的java驱动操作代码讲解

    这篇文章主要介绍了MongoDB快速入门笔记(八)之MongoDB的java驱动操作代码讲解的相关资料,非常不错,具有参考借鉴价值,需要的朋友可以参考下
    2016-06-06
  • 在Ubuntu系统中安装MariaDB数据库的教程

    在Ubuntu系统中安装MariaDB数据库的教程

    这篇文章主要介绍了在Ubuntu系统中安装MariaDB数据库的教程,同时也适用于其他Debian系的Linux系统,需要的朋友可以参考下
    2015-06-06
  • 关于MariaDB安装问题小记(CMake Error at)

    关于MariaDB安装问题小记(CMake Error at)

    这篇文章主要介绍了今日在安装MariaDB的时候始终提示如下错误,但是我已经安装了libaio-devel库,需要的朋友可以参考下
    2014-12-12
  • 浅谈MySQL和mariadb区别

    浅谈MySQL和mariadb区别

    MariaDB是MySQL源代码的一个分支,在意识到Oracle会对MySQL许可做什么后分离了出来(MySQL先后被Sun、Oracle收购)。除了作为一个Mysql的“向下替代品”,MariaDB包括的一些新特性使它优于MySQL。通过本篇文章给大家介绍MySQL和mariadb区别,需要的朋友可以参考下
    2015-09-09
  • Mac中MariaDB数据库的安装步骤

    Mac中MariaDB数据库的安装步骤

    大家都知道MariaDB数据库管理系统是MySQL的一个分支,主要由开源社区在维护,采用GPL授权许可MariaDB的目的是完全兼容MySQL,包括API和命令行,使之能轻松成为MySQL的代替品。这篇文章我们将详细介绍在Mac中安装MariaDB数据库的步骤,有需要可以参考学习。
    2016-09-09
  • Mysql/MariaDB启动时处于进度条状态导致启动失败的原因及解决办法

    Mysql/MariaDB启动时处于进度条状态导致启动失败的原因及解决办法

    本文给大家介绍Mysql/MariaDB启动时一直处于进度条状态,进度条结束后提示error。究竟是什么原因呢?该怎么解决呢?跟着小编一起看看该如何解决此问题呢。
    2015-09-09

最新评论