Presto支持Elasticsearch数据源配置详解
正文
强烈建议使用Elasticsearch 6.0.0或更高版本
在实际工作中我们使用到elasticsearch的场景也很多,为了方便我们统一SQL的查询方式,我们需要将elasticsearch接入到presto中,当然这也是合理的,接下来我们讲解如何进行elasticsearch数据源的接入!
数据源配置
- 首先进入presto安装目录
cd <PrestoHome>
- 创建presto对接elasticsearch的配置文件
vim etc/catalog/elasticsearch.properties
在该文件中配置以下内容:
connector.name=elasticsearch elasticsearch.default-schema-name=test elasticsearch.table-description-directory=etc/elasticsearch/ elasticsearch.scroll-size=1000 elasticsearch.scroll-timeout=30s elasticsearch.request-timeout=2s elasticsearch.max-request-retries=10 elasticsearch.max-request-retry-time=90s elasticsearch.max-hits=1000000
参数的详细含义详见官方文档
数据表配置
我们配置的数据表目录是etc/elasticsearch/,所以我们需要在该目录下创建相关数据表配置
比如我们在es中有一个明教test的索引,索引大概如下
{
"test": {
"mappings": {
"elasticsearch": {},
"doc": {
"properties": {
"msg": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
},
"query": {
"properties": {
"match": {
"properties": {
"msg": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
}
}
}
}
}
}
}
}
}
}
在该索引中我们只有一个字段那就是msg,根据这个索引我们配置适配presto的数据表
数据表配置如下:
{
"tableName":"test",
"schemaName":"test",
"host":"localhost",
"port": 9300,
"clusterName":"es",
"index":"test",
"indexExactMatch":false,
"type":"doc",
"columns":[
{
"name":"msg",
"type":"varchar",
"jsonPath":"msg",
"jsonType":"varchar"
}
]
}
需要注意的是我们在columns中的类型指定的是presto中的数据类型 jsonPath针对于json数据而言,不是json数据的话直接使用key即可,详细的参数配置详见官方文档
注意事项:
clusterName一定要于ES服务配置的一致,否则会出现无法连接错误
jsonPath配置格式为$.key
配置完成后重启presto服务即可
数据测试
- 连接presto客户端
presto-cli/target/presto-cli-0.235-SNAPSHOT-executable.jar --server <PrestoServer>
- 执行查询sql
SELECT msg FROM elasticsearch.test.test limit 1;
elasticsearch.test.test: <catalog>.<database>.<table>
返回结果如下:
msg
-----
你好
(1 row)
Query 20200429_095419_00007_p45px, FINISHED, 1 node
Splits: 18 total, 18 done (100.00%)
0:05 [39.8K rows, 660KB] [8.12K rows/s, 135KB/s]
返回我们在ES中的数据结果,我们集成ES成功!
注意: 需要同步配置etc目录到所有的节点中,并重启服务
以上就是Presto支持Elasticsearch数据源配置详解的详细内容，更多关于Presto Elasticsearch数据源配置的资料请关注脚本之家其它相关文章！
相关文章
这篇文章主要为大家详细介绍了java微信server录音下载到自己server的相关代码，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-05-05
实例讲解Java的MyBatis框架对MySQL中数据的关联查询
这里我们来以实例讲解Java的MyBatis框架对MySQL中数据的关联查询,包括一对多、多对一的关联查询以及自身关联映射的方法等,需要的朋友可以参考下2016-06-06
这篇文章主要介绍了ES6学习笔记之新增数据类型,结合实例形式分析了ES6数据解构赋值、新增数据类型Set集合、新增数据类型Map、Symbol类型等相关原理与操作注意事项,需要的朋友可以参考下2020-01-01
平时我们开发Spring boot 项目的时候，一个SpringBootApplication注解加一个main方法就可以启动服务器运行起来，那它到底是怎么运行起来的呢?这篇文章主要介绍了Spring boot 启动流程及外部化配置,需要的朋友可以参考下2022-12-12
SpringBoot是为了简化Spring应用的创建、运行、调试、部署等而出现的，使用它可以做到专注于Spring应用的开发，而无需过多关注XML的配置。本文重点给大家介绍Spring Boot 快速搭建微服务框架详细教程，需要的的朋友参考下吧2017-09-09
对于面向对象编程来说,抽象是它的一大特征之一,在Java中可以通过两种形式来体现OOP的抽象:接口和抽象类,下面这篇文章主要给大家介绍了关于Java抽象类相关资料,需要的朋友可以参考下2022-05-05
这篇文章主要为大家分享了自己动手写的一个java版简单云相册，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2016-07-07
这篇文章主要给大家介绍了关于java获取反射机制的3种方法，文中通过示例代码介绍的非常详细，对大家学习或者使用java具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-06-06
这篇文章主要介绍了Java int与integer的对比区别的相关资料,需要的朋友可以参考下2017-01-01
这篇文章主要介绍了简谈java并发FutureTask的实现,FutureTask都是用于获取线程执行的返回结果。文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，,需要的朋友可以参考下2019-06-06
最新评论