在MySQL中使用Sphinx实现多线程搜索的方法
MySQL、Sphinx及许多数据库和搜索引擎中的查询是单线程的。比如说，在一台32个CPU核心、16个磁盘的R910服务器上执行一个查询，它最多只会用到一个核心和一个磁盘。没错，只会使用一个。
如果查询是CPU密集型作业，那么会使用大约3%的整机CPU能力(以上述32核机器为例)。如果是磁盘密集型，则大约会使用6%的整机IO能力(也是与上例同样的配置，16个磁盘组成RAID10或RAID0)。
我再换个说法吧。如果你在一台单核单磁盘的机器上执行了某个查询，花了10秒，那么把同样的查询放到一台32核16磁盘的机器上去跑，同样需要10秒，不会有丝毫改善。
你早就知道这一点了，对吧？那么，我的问题是——有没有办法可以改善呢？
如果是Sphinx，太棒了，答案是有！而且不需要花上太多的工夫。你甚至不需要修改应用和数据库，只需要稍微改下Sphinx的配置。
计划
首先，我来说明一下我们的目标。
Sphinx本身就支持分布式搜索，在很久以前就已经朝着水平扩展的目标来设计。如果索引在一台机器上放不下，可以让多台机器分别对不同的部分进行索引，设置一个聚合节点，负责从应用接收请求，然后把请求再同时发给所有的数据节点，最后将它们返回的结果合并起来，返回给应用。在应用看起来，就好像只有一台服务器在为它服务。
好，下面你猜怎么着？哈，我们可以把这个功能应用到单台机器上，让我们的查询快上n多倍。而且，现在Sphinx已经支持这种做法了，所以我们根本不用再假装查询哪些远程节点。
还有另外一个好处，配置分布式搜索以后，索引是可以并行建的！
还是有一点需要注意，虽然这种做法可以加速绝大多数的查询，但还是有一些例外的情况。因为，并行的查询结果仍然需要合并起来，而这个合并过程是单线程的。而且，合并包括一些CPU密集的操作，如分级、排序，甚至用GROUP BY进行COUNT，如果数据量很大，合并过程就会变成瓶颈。
要确认这一点也很简单，只要查看Sphinx的查询日志，看看每个查询匹配的记录数有多少，我们就心里有数了。
执行
假设在服务器上一个索引配置如下 (很多细节都省略了):
source src1
{
type = mysql
sql_query = SELECT id, text FROM table
}
index idx1
{
type = plain
source = src1
}
searchd
{
dist_threads = 0 # default
}
现在我们使用有3个CPU核心和磁盘的机器来做这个索引--就是这个idx1.下面是我们更改的配置文件 :
source src1
{
type = mysql
sql_query = SELECT id, text FROM table
}
source src1p0 : src1
{
sql_query = SELECT id, text FROM table WHERE id % 3 = 0;
}
source src1p1 : src1
{
sql_query = SELECT id, text FROM table WHERE id % 3 = 1;
}
source src1p2 : src1
{
sql_query = SELECT id, text FROM table WHERE id % 3 = 2;
}
index idx1_template
{
type = plain
source = src1
}
index idx1p0 : idx1_template
{
source = src0
}
index idx1p1 : idx1_template
{
source = src1
}
index idx1p2 : idx1_template
{
source = src2
}
index idx1
{
type = distributed
local = idx1p0
local = idx1p1
local = idx1p2
}
searchd
{
dist_threads = 3
}
做完这些后，你需要重建索引. 但是现在idx1p0到idx1p2的索引indexer命令可以同步进行.
另外，用不同的操作来分离数据不是最好的办法, 你可以在MYSQL中用一个辅助表来区分它们的范围, 配合 sql_query_range使用或是别的什么, 具体根据你的数据来决定.
写在最后
我一直都很喜欢 Sphinx，Sphinx可以如此容易的扩展到你所需要的足够多的机器上，并且这种方式在很多年前就已经在被使用了。然后，我想，我并没有和我往常一样，利用这个特性来使得在一台机器上的查询变得更快。嗯，这并不是在说它很慢或者其实什么，只是，查询永远不会太快，不是吗？
相关文章
这篇文章主要介绍了MySQL中关于超键和主键及候选键的区别说明，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-07-07
MySQL的优化指的是一个很大的系统,面试的时候我之前是从sql的语句优化方面去说的,这种优化也有作用,不过是从逻辑方面去优化,下面这篇文章主要给大家介绍了关于MySQL查询缓存优化的相关资料,需要的朋友可以参考下2022-10-10
AlmaLinux 9 安装 MySQL 8.0.32的详细过程
这篇文章主要介绍了AlmaLinux 9 安装 MySQL 8.0.32的相关知识，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-04-04
MySQL 有多种类型存储日期和时间，例如 YEAR 和 DATE。MySQL 的时间类型存储的精确度能到秒（MariaDB 可以到毫秒级）。但是，也可以通过时间计算达到毫秒级。时间类型的选择没有最佳，而是取决于业务需要如何处理时间的存储。2021-06-06
本文主要介绍了MYSQL与sqlyog连接的实现,文中通过图文介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2023-10-10
本文介绍了MySQL服务端反向读取客户端任意文件的漏洞原理,利用LOADDATAINFILE语法实现,通过伪造MySQL服务器,客户端读取的文件内容由服务端决定,漏洞复现步骤包括获取脚本、修改配置、运行服务器、客户端连接并查看日志,防范措施包括使用SSL模式和设置local_infile为02025-02-02
2022最新版MySQL 8.0.30 安装及配置教程(小白入门)
这篇文章主要介绍了2022最新版MySQL 8.0.30 安装及配置教程,安装过程算是比较简单的，今天给大家分享的此文比较适合mysql数据库的小白，需要的朋友可以参考下2022-09-09
本文主要介绍了MySQL9.0默认路径安装下重置root密码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2025-02-02
本篇文章是对MySQL数据库引擎介绍、区别、创建和性能测试进行了详细的分析介绍，需要的朋友参考下2013-06-06
深入理解SQL的四种连接-左外连接、右外连接、内连接、全连接
本篇文章是对SQL中的四种连接-左外连接、右外连接、内连接、全连接进行了详细的分析介绍，需要的朋友参考下2013-07-07
最新评论