解决使用pandas聚类时的小坑

更新时间：2021年04月07日 09:30:45 作者：填坑小霸王

这篇文章主要介绍了解决使用pandas聚类时的小坑，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

问题背景：

之前运行测试好好的程序，忽然出现了报错，还是merge时候的类型错误，这个bug有点蹊跷。

问题分析：

代码：进行聚类之后计算平均值与方差

tmp_df = df[['object1', 'float']].groupby(['object1']).head(20).groupby(['object1'])['float'].agg(['mean', 'sum']).reset_index()

这个输出的就是原本的数据类型：一个object，一个float64

tmp_df = http_df[['object1', 'object2', 'float']].groupby(['object1', 'object2']).head(20).groupby(['object1', 'object2'])['float'].agg(['mean']).reset_index()

这个输出就会修改object为float，

差别只在于一个是使用一个特征进行聚类，一个是使用两个特征进行聚类

问题原因（个人猜测，仅供参考）：

pandas进行聚类的时候，就算之前已经定好各个列的类型，如果里边没有数据的时候，使用一列进行聚类不会修改列的类型，但是如果同时使用两列进行聚类就会修改列的类型。

所以才会出现后面进行merge时候，类型不同报错

有数据输入的时候这个报错不会发生，没有数据的时候就会发生。

补充：python数据处理--按照数据差值大小进行聚类（归类）

近来在做数据处理的工作中，遇到了数据分类的问题，利用python的各种方便库，写了这么个以数据差值大小进行归类的方法。

应用场景：

有一批数据集，如list=[1,2,3,4,9,10,11,20,20,1,1.1,2.1,100]，将其按照数值大小进行归类，即数值比较接近的归为一类，故需要先设置一个阈值，以进行划分。

具体实现如下：

其中输入参数Data_set为输入的数据集，可以为列表、数组、Series、DataFrame。threshold为数据大小分类的门限值。

输出class_k为数据归类列表集合，index_list为数据归类对应的索引集合。

def threshold_cluster(Data_set,threshold):
 #统一格式化数据为一维数组
 stand_array=np.asarray(Data_set).ravel('C')
 stand_Data=Series(stand_array)
 index_list,class_k=[],[]
 while stand_Data.any():
  if len(stand_Data)==1:
   index_list.append(list(stand_Data.index))
   class_k.append(list(stand_Data))
   stand_Data=stand_Data.drop(stand_Data.index)
  else:
   class_data_index=stand_Data.index[0]
   class_data=stand_Data[class_data_index]
   stand_Data=stand_Data.drop(class_data_index)
   if (abs(stand_Data-class_data)<=threshold).any():
    args_data=stand_Data[abs(stand_Data-class_data)<=threshold]
    stand_Data=stand_Data.drop(args_data.index)
    index_list.append([class_data_index]+list(args_data.index))
    class_k.append([class_data]+list(args_data))
   else:
    index_list.append([class_data_index])
    class_k.append([class_data])
 return index_list,class_k

测试如下：

import numpy as np 
from pandas import Series,DataFrame 
Data_set=[1,1.1,0.9,-5,2,100,99,-4.2,10000,0] 
index_list,class_k=threshold_cluster(Data_set,5) 
index_list
Out[10]: [[0, 1, 2, 4, 9], [3, 7], [5, 6], [8]] 
class_k
Out[11]: [[1.0, 1.1, 0.9, 2.0, 0.0], [-5.0, -4.2], [100.0, 99.0], [10000.0]]

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。如有错误或未考虑完全的地方，望不吝赐教。

您可能感兴趣的文章:

本机安装PaddlePaddle安装指南及步骤详解
PaddlePaddle是百度研发的开源开放的深度学习平台，有全面的官方支持的工业级应用模型，涵盖自然语言处理、计算机视觉、推荐引擎等多个领域，并开放多个领先的预训练中文模型。这篇文章主要介绍了本机安装PaddlePaddle安装指南,需要的朋友可以参考下
2021-12-12
python 包(模块函数类定义导入)使用详解
这篇文章主要为大家介绍了python 包(模块函数类定义导入)的使用详细讲解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2023-03-03
TensorFlow人工智能学习数据合并分割统计示例详解
这篇文章主要为大家介绍了TensorFlow人工智能学习数据合并分割及统计的示例详解有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步
2021-11-11
在Django同1个页面中的多表单处理详解
这篇文章主要给大家介绍了在Django同1个页面中的多表单处理的相关资料，文章先给大家介绍了如何快速上手Django实现项目的方法，方便让大家理解和学习，需要的朋友可以参考借鉴，下面来一起看看吧。
2017-01-01
详解Python的函数与异常
这篇文章主要为大家介绍了Python的函数与异常，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助
2021-11-11
Python使用textract实现从各种文件中提取文本信息
textract是一个强大的Python库,可以用于从各种文件格式中提取文本,本文将介绍textract的使用场景,以及一些常用的Python代码案例,希望对大家有所帮助
2024-01-01
python通过imaplib模块读取gmail里邮件的方法
这篇文章主要介绍了python通过imaplib模块读取gmail里邮件的方法,涉及Python操作imaplib模块操作邮件的相关技巧,需要的朋友可以参考下
2015-05-05
Django-Rest-Framework 权限管理源码浅析(小结)
这篇文章主要介绍了Django-Rest-Framework 权限管理源码浅析(小结)，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2018-11-11
pycharm不在cmd中运行却在python控制台运行问题解决
这篇文章主要介绍了pycharm不在cmd中运行却在python控制台运行问题解决,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
2023-08-08
Python使用函数辅助工具简化开发提高效率
这篇文章主要为大家介绍了Python使用函数辅助工具简化开发提高效率,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
2024-01-01