Elasticsearch之倒排索引及索引操作
倒排索引
一 倒排索引是什么
倒排索引源于实际应用中需要根据属性的值来查找记录，这种索引表中的每一个项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而成为倒排索引。带有倒排索引的文件我们称之为倒排索引文件，简称倒排文件
二 举例
例如有如下三个文件：
文件A：通过Python django搭建网站
文件B：通过Python scrapy爬取网站数据
文件C：scrapy-redis分布式爬虫
现在我们要查询，带有Python的文件，正常是对每个文件进行遍历，每个文件遍历一次，如果文件特别大，每个文件有一亿个字符，总共有一亿各文件，每个我们都要遍历，非常消耗资源
在存储文件之前，先对文件进行分析，将文件分词，对分词建立索引，例如下面一句话
1 今天是星期天我们出去玩
2 明天是星期天，放假
3 今天天气很晴朗
4 xxx
5 他们出去玩了
| 关键词 | 文章 |
|---|---|
| 今天 | 文章1，文章3 |
| 星期天 | 文章2 |
| 出去玩 | 文章5，文章1 |
实际上es在做存储的时候，更详细，如下表
| 关键词 | 文章 |
|---|---|
| 今天 | (文章1,<2，10>,2) (文章3,<8>,1) |
| 星期天 | (文章2,<12,25,100>,3) |
| 出去玩 | (文章5,<11,24,89>,3)(文章1,<8，19>,2) |
今天出现在哪个文章，出现的位置和出现的次数
三 倒排索引待解决的问题
1 大小写转换问题，如python和Python应该为同一个词
2 词干抽取，looking和look应该处理为同一个词
3 分词，如 屏蔽系统 是屏蔽 和系统两个词还是 为屏蔽系统一个词
4 倒排索引文件过大，需要压缩编码
索引操作
具体操作可以查看官方文档
https://www.elastic.co/guide/en/elasticsearch/reference/7.5/indices.html>
官方2版本的中文文档
https://www.elastic.co/guide/cn/elasticsearch/guide/current/index-settings.html
一 索引初始化
#新建一个lqz2的索引，索引分片数量为5，索引副本数量为1
PUT lqz2
{
"settings": {
"index":{
"number_of_shards":5,
"number_of_replicas":1
}
}
}
'''
number_of_shards
每个索引的主分片数，默认值是 5 。这个配置在索引创建后不能修改。
number_of_replicas
每个主分片的副本数，默认值是 1 。对于活动的索引库，这个配置可以随时修改。
'''
二 查询索引配置
#获取lqz2索引的配置信息 GET lqz2/_settings #获取所有索引的配置信息 GET _all/_settings #同上 GET _settings #获取lqz和lqz2索引的配置信息 GET lqz,lqz2/_settings
三 更新索引
#修改索引副本数量为2
PUT lqz/_settings
{
"number_of_replicas": 2
}
#如遇到报错：cluster_block_exception，因为
#这是由于ES新节点的数据目录data存储空间不足，导致从master主节点接收同步数据的时候失败，此时ES集群为了保护数据，会自动把索引分片index置为只读read-only
PUT _all/_settings
{
"index": {
"blocks": {
"read_only_allow_delete": false
}
}
}
四 删除索引
#删除lqz索引 DELETE lqz
以上就是Elasticsearch之倒排索引及索引操作的详细内容，更多关于Elasticsearch倒排索引索引操作的资料请关注脚本之家其它相关文章！
相关文章
Python3网络爬虫之使用User Agent和代理IP隐藏身份
这篇文章主要介绍了Python3网络爬虫之使用User Agent和代理IP隐藏身份,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-11-11
这篇文章主要介绍了Python中使用dom模块生成XML文件示例,本文讲解了dom模块的主要方法、详细的代码实例,需要的朋友可以参考下2015-04-04
这篇文章主要给大家介绍了关于Python词云的正确实现方法的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-05-05
贪吃蛇(也叫做贪食蛇)游戏是一款休闲益智类游戏,既简单又耐玩,唯一的目标就是做这条gai上最长(pang)的蛇(zhu),这篇文章主要给大家介绍了关于如何使用Pygame制作简单的贪吃蛇游戏的相关资料,需要的朋友可以参考下2022-06-06
这篇文章主要给大家介绍了关于python中使用pymssql库操作MSSQL数据库的相关资料,最近在学习python,发现好像没有对pymssql的详细说明,于是乎把官方文档学习一遍,重要部分做个归档,方便以后查阅,需要的朋友可以参考下2023-08-08
使用Python的urllib和urllib2模块制作爬虫的实例教程
这篇文章主要介绍了使用Python的urllib和urllib2模块制作爬虫的实例教程,展现了这两个常用爬虫制作模块的基本用法,极度推荐!需要的朋友可以参考下2016-01-01
这篇文章主要介绍了Python request使用方法及问题总结,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-04-04
时间序列是指在一段时间内发生的任何可量化的度量或事件。这篇文章主要为大家介绍了PyTorch+LSTM实现单变量时间序列预测的相关资料，需要的可以参考一下2023-02-02
这篇文章主要给大家介绍了关于scrapy-redis源码分析之发送POST请求的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用scrapy-redis具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-05-05
pytorch中F.avg_pool1d()和F.avg_pool2d()的使用操作
这篇文章主要介绍了pytorch中F.avg_pool1d()和F.avg_pool2d()的使用操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-05-05
最新评论