python批量导入数据进Elasticsearch的实例

更新时间：2018年05月30日 10:43:27 作者：小威xiaowei2

今天小编就为大家分享一篇python批量导入数据进Elasticsearch的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

ES在之前的博客已有介绍，提供很多接口，本文介绍如何使用python批量导入。ES官网上有较多说明文档，仔细研究并结合搜索引擎应该不难使用。

先给代码

#coding=utf-8
from datetime import datetime
from elasticsearch import Elasticsearch
from elasticsearch import helpers
es = Elasticsearch()
actions = []
f=open('index.txt')
i=1
for line in f:
 line = line.strip().split(' ')
 action={
 "_index":"image",
 "_type":"imagetable",
 "_id":i,
 "_source":{
  u"图片名":line[0].decode('utf8'),
  u"来源":line[1].decode('utf8'),
  u"权威性":line[2].decode('utf8'),
  u"大小":line[3].decode('utf8'),
  u"质量":line[4].decode('utf8'),
  u"类别":line[5].decode('utf8'),
  u"型号":line[6].decode('utf8'),
  u"国别":line[7].decode('utf8'),
  u"采集人":line[8].decode('utf8'),
  u"所属部门":line[9].decode('utf8'),
  u"关键词":line[10].decode('utf8'),
  u"访问权限":line[11].decode('utf8') 
  }
 }
 i+=1
 actions.append(action)
 if(len(actions)==500):
 helpers.bulk(es, actions)
 del actions[0:len(actions)]
if (len(actions) > 0):
 helpers.bulk(es, actions)

每句话的含义还是很明显的，这里需要说几点，首先是index.txt是以utf8编码的，所以需要decode('utf8')转换成unicode对象，并且“图片名”前需要加u，否则ES会报错

导入的速度还是很快的，2000多条记录每秒。

以上这篇python批量导入数据进Elasticsearch的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Python爬虫实现模拟点击动态页面
这篇文章主要介绍了Python爬虫实现模拟点击动态页面,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-03-03
python3中类的继承以及self和super的区别详解
今天小编就为大家分享一篇python3中类的继承以及self和super的区别详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-06-06
Python入门教程(三十一)Python的Try和Except
这篇文章主要介绍了Python入门教程(三十一)Python的Try Except,当我们调用Python并发生错误或异常时,通常会停止并生成错误消息,
可以使用try语句处理这些异常,需要的朋友可以参考下
2023-05-05
M1芯片Mac上Anaconda的暂时替代(miniforge)
这篇文章主要介绍了M1芯片Mac上Anaconda的暂时替代(miniforge)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-03-03
Python内置方法和属性应用：反射和单例(推荐)
这篇文章主要介绍了Python内置方法和属性应用：反射和单例,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2020-06-06
python实现区间合并的方法
区间合并是指将重叠的区间合并为一个或多个不重叠的区间,本文主要介绍了python实现区间合并的方法,文中通过代码介绍的很详细,感兴趣的可以了解一下
2024-02-02
python利用JMeter测试Tornado的多线程
这篇文章主要介绍了python利用JMeter测试Tornado的多线程，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-01-01
keras中的backend.clip用法
这篇文章主要介绍了keras中的backend.clip用法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-05-05
使用并行处理提升python for循环速度的过程
Python 是一门功能强大的编程语言，但在处理大规模数据或复杂计算任务时，性能可能成为一个瓶颈,这篇文章主要介绍了使用并行处理提升python for循环速度,需要的朋友可以参考下
2023-06-06
python实现npy格式文件转换为txt文件操作
这篇文章主要介绍了python实现npy格式文件转换为txt文件操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-07-07