pandas数据集的端到端处理
更新时间：2019年02月18日 16:16:41 作者：Inside_Zhang
今天小编就为大家分享一篇关于pandas数据集的端到端处理，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
1. 数据集基本信息
df = pd.read_csv()
df.head()：前五行；
df.info()：
- rangeindex：行索引；
- data columns：列索引；
- dtypes：各个列的类型，
- 主体部分是各个列值的情况，比如可判断是否存在 NaN 值；
对于非数值型的属性列
- df[‘some_categorical_columns'].value_counts()：取值分布；
df.describe()： 各个列的基本统计信息
- count
- mean
- std
- min/max
- 25%, 50%, 75%：分位数
df.hist(bins=50, figsize=(20, 15))：统计直方图；
对 df 的每一列进行展示：
train_prices = pd.DataFrame({'price': train_df.SalePrice,
'log(price+1)': np.log1p(train_df.SalePrice)})
# train_prices 共两列，一列列名为 price，一列列名为 log(price+1)
train_prices.hist()
2. 数据集拆分
def split_train_test(data, test_ratio=.3): shuffled_indices = np.random.permutation(len(data)) test_size = int(len(data)*test_ratio) test_indices = shuffled_indices[:test_size] train_indices = shuffled_indices[test_size:] return data.iloc[train_indices], data.iloc[test_indices]
3. 数据预处理
- 一键把 categorical 型特征（字符串类型）转化为数值型：
>> df['label'] = pd.Categorical(df['label']).codes
- 一键把 categorical 型特征（字符串类型）转化为 one-hot 编码：
>> df = pd.get_dummies(df)
- null 值统计与填充：
>> df.isnull().sum().sort_values(ascending=False).head() # 填充为 mean 值 >> mean_cols = df.mean() >> df = df.fillna(mean_cols) >> df.isnull().sum().sum() 0
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接
相关文章
Sphinx环境配置及VScode编写Rst文档转html的步骤
sphinx主要用于编写 reStructuredText 和 Markdown 格式技术文档，编写此类技术文档时Sphinx工具可将其转为html、pdf、ePub等格式，这篇文章主要介绍了Sphinx环境配置及VScode编写Rst文档转html,需要的朋友可以参考下2023-03-03
今天小编就为大家分享一篇解决python ogr shp字段写入中文乱码的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
这篇文章主要介绍了Django自定义过滤器定义与用法,结合实例形式分析了Django自定义过滤器的概念、功能、定义及使用方法,需要的朋友可以参考下2018-03-03
浅析python打包工具distutils、setuptools
python包在开发中十分常见，一般的使用套路是所有的功能做一个python模块包，打包模块，然后发布，安装使用。这篇文章给大家介绍了python打包工具distutils、setuptools的相关知识，感兴趣的朋友一起看看吧2018-04-04
这篇文章主要介绍了pandas之分组groupby()的使用整理与总结，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-06-06
这篇文章主要介绍了python3实现短网址和数字相互转换的方法,涉及Python操作字符串的相关技巧,非常具有实用价值,需要的朋友可以参考下2015-04-04
在日常办公或数据处理工作中,我们经常需要处理大量的文件,本文主要介绍了如何使用Python进行文件操作,目录管理等常见任务,希望对大家有所帮助2025-02-02
这篇文章主要介绍了Python可视化之pyechart库使用详解,Pyecharts 提供了一个简单而直观的 API 接口,使得使用者无需了解复杂的 JavaScript 语法,即可通过 Python 代码实现高度定制化的图表设计,需要的朋友可以参考下2023-12-12
这篇文章主要介绍了python读写ini配置文件方法,实例分析了Python针对ini配置文件的相关读写技巧,需要的朋友可以参考下2015-06-06
python 解决flask 图片在线浏览或者直接下载的问题
今天小编就为大家分享一篇python 解决flask 图片在线浏览或者直接下载的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
最新评论