spark dataframe 将一列展开,把该列所有值都变成新列的方法
更新时间：2019年01月29日 11:39:19 作者：Nougats
今天小编就为大家分享一篇spark dataframe 将一列展开,把该列所有值都变成新列的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
The original dataframe
需求：hour代表一天的24小时，现在要将hour列展开，每一个小时都作为一个列
实现：
val pivots = beijingGeoHourPopAfterDrop.groupBy("geoHash").pivot("hour").sum("countGeoPerHour").na.fill(0)
并且统计了对应的countGeoPerHour的和，如果有些行没有这个新列对应的数据，将用null填充
The new dataframe
以上这篇spark dataframe 将一列展开,把该列所有值都变成新列的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了numpy实现神经网络反向传播算法的步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-12-12
这篇文章主要为大家介绍了Python中执行MySQL结果限制和分页查询示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-11-11
这篇文章主要为大家详细介绍了Python绘制简单散点图的方法，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-04-04
这篇文章主要给大家介绍了关于Python requests库参数提交的注意事项，文中通过示例代码和图片介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-03-03
这篇文章主要为大家详细介绍了Python3的高阶函数，主要介绍什么是高级特性，高级特性的用法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-01-01
python安装numpy&安装matplotlib& scipy的教程
下面小编就为大家带来一篇python安装numpy&安装matplotlib& scipy的教程。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-11-11
本篇文章主要介绍了Python内置函数delattr的具体用法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-11-11
这篇文章主要介绍了python基于opencv 实现图像时钟的方法，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下2021-01-01
今天小编就为大家分享一篇关于Python OOP类中的几种函数或方法总结，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-02-02
本篇文章主要介绍了python实现字符串连接的三种方法及其效率、适用场景详解，具有一定的参考价值，感兴趣的小伙伴们可以参考一下。2017-01-01
最新评论