python批量导入数据进Elasticsearch的实例
更新时间：2018年05月30日 10:43:27 作者：小威xiaowei2
今天小编就为大家分享一篇python批量导入数据进Elasticsearch的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
ES在之前的博客已有介绍，提供很多接口，本文介绍如何使用python批量导入。ES官网上有较多说明文档，仔细研究并结合搜索引擎应该不难使用。
先给代码
#coding=utf-8
from datetime import datetime
from elasticsearch import Elasticsearch
from elasticsearch import helpers
es = Elasticsearch()
actions = []
f=open('index.txt')
i=1
for line in f:
line = line.strip().split(' ')
action={
"_index":"image",
"_type":"imagetable",
"_id":i,
"_source":{
u"图片名":line[0].decode('utf8'),
u"来源":line[1].decode('utf8'),
u"权威性":line[2].decode('utf8'),
u"大小":line[3].decode('utf8'),
u"质量":line[4].decode('utf8'),
u"类别":line[5].decode('utf8'),
u"型号":line[6].decode('utf8'),
u"国别":line[7].decode('utf8'),
u"采集人":line[8].decode('utf8'),
u"所属部门":line[9].decode('utf8'),
u"关键词":line[10].decode('utf8'),
u"访问权限":line[11].decode('utf8')
}
}
i+=1
actions.append(action)
if(len(actions)==500):
helpers.bulk(es, actions)
del actions[0:len(actions)]
if (len(actions) > 0):
helpers.bulk(es, actions)
每句话的含义还是很明显的，这里需要说几点，首先是index.txt是以utf8编码的，所以需要decode('utf8')转换成unicode对象，并且“图片名”前需要加u，否则ES会报错
导入的速度还是很快的，2000多条记录每秒。
以上这篇python批量导入数据进Elasticsearch的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
Python提供了多种方法来读取文件内容，其中包括read()、readline()和readlines()三个常用的函数，本文将深入探讨这三个函数的使用方法，需要的可以参考一下2023-08-08
这篇文章主要介绍了Python中的字符串相似度，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-05-05
本文通过实例代码给大家介绍了Python实现Linux监控的方法，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下2019-05-05
这篇文章主要介绍了Python+AutoIt实现界面工具开发过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-08-08
这篇文章主要介绍了Python3.9.1中使用match方法详解,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-02-02
pyinstaller打包成无控制台程序时运行出错(与popen冲突的解决方法)
这篇文章主要介绍了pyinstaller打包成无控制台程序时运行出错(与popen冲突的解决方法)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
Python 中的 list、tuple、set、dict的底层实现小结
本文详细介绍了Python中四种常用数据结构——list、tuple、set和dict的底层实现,包括它们的存储方式、性能特点以及适用场景,感兴趣的朋友一起看看吧2025-03-03
最近做个天 气方面的APP需要用到一些天气数据,所以下面这篇文章主要给大家介绍了关于如何利用python多线程爬取天气网站图片并保存的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下2021-11-11
这篇文章主要给大家介绍了关于Django项目实战之配置文件的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-04-04
今天小编就为大家分享一篇pytorch自定义二值化网络层方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
最新评论