Python将json文件写入ES数据库的方法
更新时间：2019年04月10日 10:00:54 作者：poziiey
这篇文章主要介绍了Python将json文件写入ES数据库的方法，本文给大家介绍的非常详细，具有一定的参考借鉴价值 ,需要的朋友可以参考下
1、安装Elasticsearch数据库
PS：在此之前需首先安装Java SE环境
下载elasticsearch-6.5.2版本，进入/elasticsearch-6.5.2/bin目录，双击执行elasticsearch.bat 打开浏览器输入http://localhost:9200 显示以下内容则说明安装成功
安装head插件，便于查看管理（还可以用kibana）
首先安装Nodejs（下载地址https://nodejs.org/en/）
再下载elasticsearch-head-master包解压到/elasticsearch-6.5.2/下（链接: https://pan.baidu.com/s/1q3kokFhpuJ2Q3otPgu7ldg
提取码: 1rpp
修改配置文件elasticsearch-6.5.2\config\elasticsearch.yml如下：
进入elasticsearch-head-master目录下执行npm install -g grunt-cli，再执行npm install安装依赖
在elasticsearch-head-master目录下找到Gruntfile.js文件修改服务器监听地址如下：
执行grunt server命令启动head服务
访问地址 http://localhost:9100/ 即可访问head管理页面
2、将json文件写入ES数据库（py脚本如下）
# -*- coding: UTF-8 -*-
from itertools import islice
import json , sys
from elasticsearch import Elasticsearch , helpers
import threading
_index = 'indextest' #修改为索引名
_type = 'string' #修改为类型名
es_url = 'http://192.168.116.1:9200/' #修改为elasticsearch服务器
reload(sys)
sys.setdefaultencoding('utf-8')
es = Elasticsearch(es_url)
es.indices.create(index=_index, ignore=400)
chunk_len = 10
num = 0
def bulk_es(chunk_data):
bulks=[]
try:
for i in xrange(chunk_len):
bulks.append({
"_index": _index,
"_type": _type,
"_source": chunk_data[i]
})
helpers.bulk(es, bulks)
except:
pass
with open(sys.argv[1]) as f:
while True:
lines = list(islice(f, chunk_len))
num =num +chunk_len
sys.stdout.write('\r' + 'num:'+'%d' % num)
sys.stdout.flush()
bulk_es(lines)
if not lines:
print "\n"
print "task has finished"
break
总结
以上所述是小编给大家介绍的Python将json文件写入ES数据库的方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！
相关文章
这篇文章主要为大家详细介绍了利用aardio给python编写图形界面的方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-08-08
这篇文章主要介绍了python 获取元素在array中的下标操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-05-05
2022年奥林匹克运动会如期举行，以不正确的方式进行运动风险在增加，人体姿势估计是计算机视觉领域的重要问题，接下来通过本文给大家介绍下使用OpenCV对运动员的姿势进行检测功能，感兴趣的朋友一起看看吧2022-02-02
这篇文章主要给大家介绍了Python中import模块导入的实现原理,主要从什么是模块,import搜索路径以及导入原理这三个方面给大家介绍,感兴趣的小伙伴跟着小编一起来看看吧2023-08-08
这篇文章主要为大家详细介绍了如何利用python来实现自动化办公操作excel文件进行各种样式展示,并自动发送文件给"老板"的邮箱,希望对大家有所帮助2024-03-03
这篇文章主要介绍了Python HTTP下载文件并显示下载进度条功能，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2020-04-04
这篇文章主要给大家介绍了关于python中dir()与__dict__属性的区别的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2018-12-12
今天小编就为大家分享一篇Python print不能立即打印的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
这篇文章主要介绍了Python Collatz序列实现过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-10-10
这篇文章主要为大家详细介绍了基于python的ini配置文件操作工具类，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-04-04
最新评论