从PySpark中的字符串获取列表方法讲解
更新时间：2021年12月19日 10:01:22 作者：java学习之路
在本篇内容里小编给大家分享的是一篇关于从PySpark中的字符串获取列表方法讲解及相关实例，有需要的朋友们跟着学习下。
在 PySpark 中是否有类似eval的功能。
我正在尝试将 Python 代码转换为 PySpark
我正在查询一个数据框，并且其中一列具有数据，如下所示，但采用字符串格式。
[{u'date': u'2015-02-08', u'by': u'abc@gg.com', u'value': u'NA'}, {u'date': u'2016-02-08', u'by': u'dfg@yaa.com', u'value': u'applicable'}, {u'date': u'2017-02-08', u'by': u'wrwe@hot.com', u'value': u'ufc'}]
假设“ x”是在数据框中保存此值的列。
现在，我想传递该字符串列“ x”并获取列表，以便可以将其传递给 mapPartition 函数。
我想避免迭代驱动程序上的每一行，这就是我这样想的原因。
在 Python 中使用 eval()函数(如果已使用)：我得到以下输出：
x = "[{u'date': u'2015-02-08', u'by': u'abc@gg.com', u'value': u'NA'}, {u'date': u'2016-02-08', u'by': u'dfg@yaa.com', u'value': u'applicable'}, {u'date': u'2017-02-08', u'by': u'wrwe@hot.com', u'value': u'ufc'}]"
list = eval(x)
for i in list: print i
输出：(这也是我在 PySpark 中想要的)
{u'date': u'2015-02-08', u'by': u'abc@gg.com', u'value': u'NA'}
{u'date': u'2016-02-08', u'by': u'dfg@yaa.com', u'value': u'applicable'}
{u'date': u'2017-02-08', u'by': u'wrwe@hot.com', u'value': u'ufc'}
如何在 PySpark 中做到这一点？
实例扩展：
df.schema: StructType(List(StructField(id,StringType,true),StructField(recs,StringType,true)))
|id | recs | |ABC|[66, [["AB", 10]]] |XYZ|[66, [["XY", 10], ["YZ", 20]]] |DEF|[66, [["DE", 10], ["EF", 20], ["FG", 30]]]
我正试着把这些单子弄平
|id | like_id
|ABC|AB|
|XYZ|XY|
|XYZ|YZ|
|DEF|DE|
|DEF|EF|
|DEF|FG|
到此这篇关于从PySpark中的字符串获取列表方法讲解的文章就介绍到这了,更多相关如何从 PySpark 中的字符串获取列表内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
大家好，本篇文章主要讲的是关于python的对象序列化介绍，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下2022-01-01
这篇文章主要为大家详细介绍了python实现批量转换图片为黑白，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2020-06-06
画圈？换一个说法就是循环。循环，是高级语言编程中重要的工作。现实生活中，很多事情都是在循环，日月更迭，斗转星移，无不是循环；王朝更迭，寻常百姓，也都是循环。2014-09-09
这篇文章主要介绍了Python subprocess库的使用详解，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-10-10
python去除字符串中的空格、特殊字符和指定字符的三种方法
本文主要介绍了python去除字符串中的空格、特殊字符和指定字符的三种方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-02-02
这篇文章主要介绍了python实现基于两张图片生成圆角图标效果的方法,实例分析了Python使用pil模块进行图片处理的技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-03-03
这篇文章主要介绍了Pytorch中expand()的使用(扩展某个维度)，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-07-07
这篇文章主要介绍了Python 文件处理之open()函数，在 Python 中使用文件的关键函数是 open() 函数，关于其打开文件的不同方式需要的小伙伴可以参考下面详细介绍2022-03-03
解决Python中的ModuleNotFoundError: No module named 'pad
你是否在尝试导入`paddle`模块时遇到了"ModuleNotFoundError: No module named 'paddle'"这个错误？别担心,我们的指南会告诉你如何解决,这就像找到丢失的钥匙一样简单,让我们一起来看看如何解决这个问题吧！2024-03-03
Neo4j是一款开源图数据库，使用Python语言访问Neo4j可以使用Py2neo。本文介绍了使用Py2neo访问Neo4j，批量创建节点和关系的方法2021-08-08
最新评论