使用pandas实现连续数据的离散化处理方式(分箱操作)
Python实现连续数据的离散化处理主要基于两个函数,pandas.cut和pandas.qcut,前者根据指定分界点对连续数据进行分箱处理,后者则可以根据指定箱子的数量对连续数据进行等宽分箱处理,所谓等宽指的是每个箱子中的数据量是相同的。
下面简单介绍一下这两个函数的用法:
# 导入pandas包 import pandas as pd ages = [20, 22, 25, 27, 21, 23, 37, 31, 61, 45, 41, 32] # 待分箱数据 bins = [18, 25, 35, 60, 100] # 指定箱子的分界点
pandas.cut函数 :
cats1 = pd.cut(ages, bins) cats1
cats1结果:
[(18, 25], (18, 25], (18, 25], (25, 35], (18, 25], ..., (25, 35], (60, 100], (35, 60], (35, 60], (25, 35]] Length: 12 Categories (4, interval[int64]): [(18, 25] < (25, 35] < (35, 60] < (60, 100]] # labels参数为False时,返回结果中用不同的整数作为箱子的指示符 cats2 = pd.cut(ages, bins,labels=False) cats2 # 输出结果中的数字对应着不同的箱子
cats2结果:
array([0, 0, 0, 1, 0, 0, 2, 1, 3, 2, 2, 1], dtype=int64) pd.value_counts(cats1) # 对不同箱子中的数进行计数
计数结果:
(18, 25] 5 (35, 60] 3 (25, 35] 3 (60, 100] 1 dtype: int64 pd.cut(ages, [18, 26, 36, 61, 100], right=False) # 指定分箱区间是左闭右开
改变区间开闭结果:
[[18, 26), [18, 26), [18, 26), [26, 36), [18, 26), ..., [26, 36), [61, 100), [36, 61), [36, 61), [26, 36)] Length: 12 Categories (4, interval[int64]): [[18, 26) < [26, 36) < [36, 61) < [61, 100)] # 可以将想要指定给不同箱子的标签传递给labels参数 group_names = ['Youth', 'YoungAdult', 'MiddleAged', 'Senior'] cuts3 = pd.cut(ages, bins, labels=group_names) cuts3
cats3结果:
[Youth, Youth, Youth, YoungAdult, Youth, ..., YoungAdult, Senior, MiddleAged, MiddleAged, YoungAdult] Length: 12 Categories (4, object): [Youth < YoungAdult < MiddleAged < Senior]
pandas.qcut函数:
qcats1 = pd.qcut(ages,q=4) # 参数q指定所分箱子的数量 qcats1
qcats1结果:
[(19.999, 22.75], (19.999, 22.75], (22.75, 29.0], (22.75, 29.0], (19.999, 22.75], ..., (29.0, 38.0], (38.0, 61.0], (38.0, 61.0], (38.0, 61.0], (29.0, 38.0]] Length: 12 Categories (4, interval[float64]): [(19.999, 22.75] < (22.75, 29.0] < (29.0, 38.0] < (38.0, 61.0]] qcats1.value_counts() # 从输出结果可以看到每个箱子中的数据量时相同的
计数结果:
(19.999, 22.75] 3 (22.75, 29.0] 3 (29.0, 38.0] 3 (38.0, 61.0] 3 dtype: int64
参考:《利用Python进行数据分析》——Wes McKinney 第二版
以上这篇使用pandas实现连续数据的离散化处理方式(分箱操作)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
相关文章
分布式训练training-operator和pytorch-distributed RANK变量不统一解决
这篇文章主要介绍了分布式训练training-operator和pytorch-distributed RANK变量不统一问题的解决方案详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-04-04Python cookbook(数据结构与算法)实现优先级队列的方法示例
这篇文章主要介绍了Python cookbook(数据结构与算法)实现优先级队列的方法,结合实例形式分析了Python中基于给定优先级进行队列元素排序的相关操作技巧,需要的朋友可以参考下2018-02-02详解pyenv下使用python matplotlib模块的问题解决
这篇文章主要介绍了详解pyenv下使用python matplotlib模块的问题解决,非常具有实用价值,需要的朋友可以参考下2018-11-11Python使用Webargs实现简化Web应用程序的参数处理
在开发Web应用程序时,参数处理是一个常见的任务,Python的Webargs模块为我们提供了一种简单而强大的方式来处理这些参数,下面我们就来学习一下具体操作吧2024-02-02tensorflow使用tf.data.Dataset 处理大型数据集问题
这篇文章主要介绍了tensorflow使用tf.data.Dataset 处理大型数据集问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教2022-12-12教你使用Sublime text3搭建Python开发环境及常用插件安装另分享Sublime text3最新激活注册码
这篇文章主要介绍了使用Sublime text 3搭建Python开发环境及常用插件安装,并提供了最新Sublime text 3激活注册码需要的朋友可以参考下2020-11-11
最新评论