解决正则表示式匹配($regex)引起的一次mongo数据库cpu占用率高的问题
某一天，监控到mongo数据库cpu使用率高了很多，查了一下，发现是下面这种语句引起的：
db.example_collection.find({
"idField" :
{ "$regex" : "123456789012345678"
} ,
"dateField" :
{ "$regex" : "2019/10/10"
}})
通常，遇到这种情况，我第一反应是缺少相关字段的索引，导致每执行一次这种语句都会全表扫描一次。
但是我用explain( )语句分析了下，发现上面所涉及的两个字段idField、dateField是有索引的，并且该语句也是有使用到索引的。如下为explain( )的结果：
mgset-11111111:PRIMARY> db.example_collection.find({ "idField" : { "$regex" : "123456789012345678"} , "dateField" : { "$regex" : "2019/10/10"}}).explain("queryPlanner")
{
"queryPlanner" : {
"plannerVersion" : 1,
"namespace" : "example_db.example_collection",
"indexFilterSet" : false,
"parsedQuery" : {
"$and" : [
{
"idField" : {
"$regex" : "123456789012345678"
}
},
{
"dateField" : {
"$regex" : "2019/10/10"
}
}
]
},
"winningPlan" : {
"stage" : "FETCH",
"inputStage" : {
"stage" : "IXSCAN",
"filter" : {
"$and" : [
{
"idField" : {
"$regex" : "123456789012345678"
}
},
{
"dateField" : {
"$regex" : "2019/10/10"
}
}
]
},
"keyPattern" : {
"idField" : 1,
"dateField" : 1
},
"indexName" : "idField_1_dateField_1",
"isMultiKey" : false,
"multiKeyPaths" : {
"idField" : [ ],
"dateField" : [ ]
},
"isUnique" : false,
"isSparse" : false,
"isPartial" : false,
"indexVersion" : 2,
"direction" : "forward",
"indexBounds" : {
"idField" : [
"[\"\", {})",
"[/123456789012345678/, /123456789012345678/]"
],
"dateField" : [
"[\"\", {})",
"[/2019/10/10/, /2019/10/10/]"
]
}
}
},
"rejectedPlans" : [ ]
},
"ok" : 1
}
查看mongo的日志发现，这种语句执行一次就要800~900ms，的确是比较慢。除非数据库cpu核数很多，要不然只要这种语句每秒并发稍微高一点，cpu很快就被占满了。
之后搜索了下，发现有可能是正则表达式的问题。原来，虽然该语句的确是使用了索引，但是explain( )语句的输出中还有一个字段"indexBounds"，表示执行该语句时所需扫描的索引范围。说实话，上面那个输出中，我始终没看明白它那个索引范围。上面的语句对idField、dateField这两个字段都进行了普通的正则表达式匹配，我猜测它应该是扫描了整个索引树，所以导致索引并未实际提升该语句的查询效率。
我看了下数据库里面的数据，发现idField、dateField这两个字段完全没有必要进行正则匹配，进行普通的文本匹配就行。将正则匹配操作$regex去掉之后，再分析一下，结果是这样的：
mgset-11111111:PRIMARY> db.example_collection.find({ "idField" : "123456789012345678", "dateField" : "2019/10/10"}).explain("queryPlanner")
{
"queryPlanner" : {
"plannerVersion" : 1,
"namespace" : "example_db.example_collection",
"indexFilterSet" : false,
"parsedQuery" : {
"$and" : [
{
"idField" : {
"$eq" : "123456789012345678"
}
},
{
"dateField" : {
"$eq" : "2019/10/10"
}
}
]
},
"winningPlan" : {
"stage" : "FETCH",
"inputStage" : {
"stage" : "IXSCAN",
"keyPattern" : {
"idField" : 1,
"dateField" : 1
},
"indexName" : "idField_1_dateField_1",
"isMultiKey" : false,
"multiKeyPaths" : {
"idField" : [ ],
"dateField" : [ ]
},
"isUnique" : false,
"isSparse" : false,
"isPartial" : false,
"indexVersion" : 2,
"direction" : "forward",
"indexBounds" : {
"idField" : [
"[\"123456789012345678\", \"123456789012345678\"]"
],
"dateField" : [
"[\"2019/10/10\", \"2019/10/10\"]"
]
}
}
},
"rejectedPlans" : [ ]
},
"ok" : 1
}
可以看到，仍然使用到了索引，并且索引扫描范围是仅限于一个值的。
后来跟开发人员确认了下，该语句确实没必要使用正则匹配，就让他把正则匹配去掉了。之后就没有再出现问题了，mongo慢日志中也未再出现该语句。
总结
以上所述是小编给大家介绍的解决正则表示式匹配($regex)引起的一次mongo数据库cpu占用率高的问题，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！
相关文章
网页爬虫：就是一个程序用于在互联网中获取指定规则的数据。这篇文章主要介绍了使用正则表达式实现网页爬虫的思路详解,需要的朋友可以参考下2018-12-12
最近写爬虫时需要用到正则表达式，有段时间没有使用正则表达式现在渐渐感觉有些淡忘，现在使用还需要去查询一些资料2006-07-07
这篇文章主要介绍了常用的正则表达式实例整理,非常不错，具有参考借鉴价值，需要的朋友可以参考下2018-03-03
下午和kindle聊天的时候,他让我看一个正则,问我知不知道其中?:的作用,以偶半瓶水的正则功力,不知道杂解释给他听了,单个一个还好理解,一起就不明白了,起码我是没用过..查了下资料,说说我的看法..2010-12-12
测试八位数字是否为有效日期2009-07-07
这篇文章主要介绍了Jmeter 使用Json提取请求数据,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-04-04
这篇文章主要介绍了最严谨的校验email地址的正则表达式及各种语言对应版,本文给出通用、Python、Javascript、PHP、Perl / Ruby、Perl等版本的最严谨的表达式写法,需要的朋友可以参考下2015-07-07
js正则表达式之RegExp对象之compile方法 编译正则表达式
该方法可以编译指定的正则表达式，编译之后的正则表达式执行速度将会提高，如果正则表达式多次被调用，那么调用compile方法可以有效的提高代码的执行速度，如果该正则表达式只能被使用一次，则不会有明显的效果2012-10-10
非常不错的口诀，相信学习正则的朋友感觉入门很难，其实并不是想象中的难，你看下面不知道是哪位高手整理的口诀，看口诀就知道此人对正则的熟练程度非常高了。2009-04-04
这篇文章主要介绍了正则表达式实现最小匹配功能的方法,结合具体实例形式分析了正则表达式最小匹配功能的原理与实现技巧,需要的朋友可以参考下2017-02-02
最新评论