spark dataframe 将一列展开,把该列所有值都变成新列的方法
更新时间：2019年01月29日 11:39:19 作者：Nougats
今天小编就为大家分享一篇spark dataframe 将一列展开,把该列所有值都变成新列的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
The original dataframe
需求：hour代表一天的24小时，现在要将hour列展开，每一个小时都作为一个列
实现：
val pivots = beijingGeoHourPopAfterDrop.groupBy("geoHash").pivot("hour").sum("countGeoPerHour").na.fill(0)
并且统计了对应的countGeoPerHour的和，如果有些行没有这个新列对应的数据，将用null填充
The new dataframe
以上这篇spark dataframe 将一列展开,把该列所有值都变成新列的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了使用Python下载歌词并嵌入歌曲文件中的实现代码,需要借助eyed3模块,需要的朋友可以参考下2015-11-11
这篇文章主为大家要介绍了Python3.10接入ChatGPT实现逐句回答流式返回示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-03-03
这篇文章主要介绍了用python介绍4种常用的单链表翻转的方法小结，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-02-02
这篇文章主要介绍了Python如何重新加载模块,文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下2020-07-07
除了常用的csv文件和excel文件之外，我们还可以通过Python把数据保存文npy文件格式和mat文件格式。本文为大家展示了实现npy文件与mat文件的保存与读取的示例代码，需要的可以参考一下2022-04-04
下面小编就为大家带来一篇Python字典实现简单的三级菜单(实例讲解)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-07-07
这篇文章主要为大家介绍了Python面向对象之模块，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2021-12-12
这篇文章主要给大家介绍了关于如何利用Python给自己的头像加一个小国旗（小月饼）的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-10-10
这篇文章主要介绍了Python基于opencv实现的简单画板功能,结合实例形式分析了Python使用opencv模块进行图形绘制的相关操作技巧,需要的朋友可以参考下2019-03-03
这篇文章主要为大家详细介绍了如何利用Python实现批量将PPT转换成长图,并且图片名称与PPT文件名称相同,保存位置相同,感兴趣的小伙伴可以了解下2023-08-08
最新评论