解决sqoop从postgresql拉数据,报错TCP/IP连接的问题
问题：
sqoop从postgresql拉数据，在执行到mapreduce时报错Connection refused. Check that the hostname and port are correct and that the postmaster is accepting TCP/IP connections
问题定位过程：
1、postgresql 5432端口已开放，执行任务的节点能telnet通，并且netcat测试通过
2、sqoop list-tables命令可正常执行，sqoop import报错Connection refused. Check that the hostname and port are correct and that the
3、从其它服务器集群跑同样脚本正常
解决：
集群中有node不能访问5432，sqoop import命令一定要集群中所有起nodemanager服务的节点有访问数据库端口的权限，所以保证所有节点访问5432后解决
备注：
sqoop list-tables能执行就说明肯定不是postgresql端的问题，sqoop list-tables执行命令的这台服务器能访问5432即可
补充：使用Sqoop从PostgreSQL向Hive中迁移数据遇到的问题
postgreSQL的界面
跟mysql不同之处就是，多了一个 2 ，这也是导致数据迁移错误原因
1.数据库名称 2.schema 3.表名
PostgreSQL中的对象属于三层模型，即database->schema->table。PostgreSQL中一般包含多个database，每个database包含多个schema，schema下包含多个表。因此使用sqoop抽取数据时有时需要指定表是属于哪个schema。
解决方案：
在代码最后指定--schema
-- --schema 上图2的名称
整个代码如下
./sqoop import --connect jdbc:postgresql://***.***.***.***:38888/bigdata --username test --password test123 --table tb_ecar_gps_zhengzhou_standard --fields-terminated-by '\t' -m 1 --target-dir '/sqoop/postgresql123' -- --schema benchmark_data;
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。如有错误或未考虑完全的地方，望不吝赐教。
相关文章
随着使用时间的增加，数据库中的数据量也不断增加，因此数据库查询越来越慢。加速数据库的方法很多，如添加特定的索引，将日志目录换到单独的磁盘分区，调整数据库引擎的参数等。本文即将介绍的数据库表分区即能达到此效果2021-06-06
这篇文章主要介绍了Postgresql 数据库权限功能的使用总结，具有很好的参考价值，对大家有所帮助。一起跟随小编过来看看吧2021-02-02
postgresql synchronous_commit参数的用法介绍
这篇文章主要介绍了postgresql synchronous_commit参数的用法介绍，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-12-12
psql是PostgreSQL的一个命令行交互式客户端工具，它具有非常丰富的功能，类似于Oracle的命令行工具sqlplus，本文给大家总结下PostgreSQL 中常用 psql 常用命令以便后续查阅，感兴趣的朋友跟随小编一起看看吧2023-07-07
PostgreSQL通过oracle_fdw访问Oracle数据的实现步骤
通过类似于Oracle数据库DBLINK的方式去实现PostgreSQL访问oracle数据库，本地搭建测试环境并配置相关配置，接下来通过本文给大家分享PostgreSQL通过oracle_fdw访问Oracle数据的实现步骤，感兴趣的朋友一起看看吧2021-05-05
这篇文章主要介绍了PostgreSQL教程(二十)：PL/pgSQL过程语言,本文讲解了、PL/pgSQL概述、PL/pgSQL的结构、声明、基本语句、控制结构等内容,需要的朋友可以参考下2015-05-05
这篇文章主要介绍了PostgreSQL教程(十四)：数据库维护,本文讲解了恢复磁盘空间、更新规划器统计、VACUUM和ANALYZE的示例、定期重建索引等内容,需要的朋友可以参考下2015-05-05
PostgreSQL LIST、RANGE 表分区的实现方案
这篇文章主要介绍了PostgreSQL LIST、RANGE 表分区的实现方案，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-01-01
这篇文章主要介绍了PostgreSql从库重新配置的详情，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-12-12
这篇文章主要介绍了postgresql 修改列类型操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-12-12
最新评论