java实现往hive 的map类型字段写数据
更新时间：2021年07月22日 10:59:42 作者：二十六画生的博客
这篇文章主要介绍了java实现往hive 的map类型字段写数据操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
往hive 的map类型字段写数据
该表的该字段类型是map<string,string>
对应类的该属性的类型需要定义成String，不可定义成Map<String,String> ！！
方法1：
建表语句定义map的分隔符：
row format delimited fields terminated by '|' collection items terminated by ',' map keys terminated by ':' NULL DEFINED AS ''
然后在java中封装好map后，不可直接把map.toString()的字符串写入字段（会有“=”，不能正确组成JSON格式的内容），也不可序列化为JSON格式的字符串后写入字段（会加很多“\”）！需要自己定义toString的方法：
public static String insertToMap(Map<String, String> map) {
StringBuilder sb = new StringBuilder();
Set<String> set = map.keySet();
for (String s : set) {
sb.append(s).append(":").append(StringUtils.isBlank(map.get(s)) ? "NULL" : map.get(s)).append(",");
}
String str = sb.toString();
return str.substring(0, str.length() - 1);
}
字符串是不带双引号和两端花括号的字符串，这样插入到字段时，hive会自动为key和value都添加双引号，也会在两端添加花括号！（为啥为空时需要把value设置成NULL?如果为空不写时，怕hive处理时出错，可能会处理成带四个双引号的NULL，所以手动指定空为"NULL"字符串）
方法2：
建表语句不用定义map的分隔符：
然后在java中封装好map后，不可直接把map.toString()的字符串写入字段，也不可序列化为JSON格式的字符串后写入字段！需要自己定义toString的方法：
public static String insertToMap(Map<String, String> map) {
StringBuilder sb = new StringBuilder();
Set<String> set = map.keySet();
for (String s : set) {
sb.append(s).append("\003").append(StringUtils.isBlank(map.get(s)) ? "NULL" : map.get(s)).append("\002");
}
String str = sb.toString();
return str.substring(0, str.length() - 1);
}
得到的则是正确的字段内容！
hive中默认是用“\003”分隔key与value,用“\002”分隔两个键值对！
以上是今天尝试好几种方法整理后的结论！
hive-map类型字段的定义与插入
map类型定义了一种kv结构，在hive中经常使用。
如何定义map类型呢？
create table employee(id string, perf map<string, int>) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY ',' MAP KEYS TERMINATED BY ':';
其中fields是字段分隔符，collection是每个kv对的分隔符，map keys是k与v的分隔符。
导入数据时，只需要按对应分隔符处理好数据即可。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了JAVA与SQL 中的null与NULL解析，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-08-08
这篇文章主要介绍了Java与C++实现相同MD5加密算法的方法,需要的朋友可以参考下面文章内容2021-09-09
这篇文章主要为大家详细介绍了java实现数据库的数据写入到txt的方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-07-07
Thread dumps（线程转储）能帮助我们判断 CPU 峰值、死锁、内存异常、应用反应迟钝、响应时间变长和其他系统问题。在这篇文章当中，总结了7中抓取 Java Thread Dumps 文件的方式，分享给大家，希望对大家学习Java能够有所帮助。2016-06-06
这篇文章主要介绍了Java 中桥接模式——对象结构型模式的实例详解的相关资料,希望通过本文大家能掌握这部分知识，需要的朋友可以参考下2017-09-09
这篇文章主要介绍了Struts2 使用OGNL遍历map方法详解，具有一定参考价值，需要的朋友可以了解下。2017-09-09
这篇文章主要介绍了Spring中的@Pointcut切点详解,pointcut就是切点，通知需要在哪些方法处进行增强，在AspectJ中用@Pointcut注解表达式标注,需要的朋友可以参考下2023-08-08
关于IDEA2020.1新建项目maven PKIX 报错问题解决方法
这篇文章主要介绍了关于IDEA2020.1新建项目maven PKIX 报错问题解决方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-06-06
这篇文章运用实例代码给大家介绍了利用Java怎样获取文件名、类名、方法名和行号，有需要的可以参考借鉴，下面一起来看看吧。2016-08-08
Redis 除了做缓存，还能干很多很多事情：分布式锁、限流、处理请求接口幂等性。。。太多太多了～今天想和小伙伴们聊聊用 Redis 处理接口限流，这也是最近的 项目涉及到这个知识点了，我就拎出来和大家聊聊这个话题2022-07-07
最新评论