深入探讨Pandas数据清洗与高效分析

import pandas as pd
# 创建示例数据
df = pd.DataFrame({
    'A': [1, 2, None],
    'B': [4, None, 6],
    'C': [None, 7, 8]})
# 检测缺失值
print(df.isna())  # 输出布尔 DataFrame 标记缺失值

# 删除行中的缺失值
df_cleaned = df.dropna()
# 使用均值填充缺失值
mean_fill = df['A'].mean()
df_filled = df.fillna(mean_fill)

# 创建示例数据（包含重复行）
df_dup = pd.DataFrame({
    'A': [1, 2, 1],
    'B': [3, 4, 3],
    'C': [5, 6, 5]})
# 删除重复值，保留第一次出现的记录
df_unique = df_dup.drop_duplicates(keep='first')

import numpy as np
# 创建示例数据
df1 = pd.DataFrame({
    'key': ['A', 'B', 'C'],
    'value': [1, 2, 3]})
df2 = pd.DataFrame({
    'key': ['A', 'B', 'D'],
    'other_value': [4, 5, 6]})
# 按 "key" 列合并
merged_df = df1.merge(df2, on='key', how='outer')
print(merged_df)

# 垂直拼接（按行）
df_vertical = pd.concat([df1, df2], axis=0)
# 水平拼接（按列）
df_horizontal = pd.concat([df1, df2[['key', 'other_value']]], axis=1)

# 创建示例时间序列数据
index = pd.date_range('2023-01-01', periods=7, freq='D')
df_time = pd.DataFrame({
    'value': np.random.rand(7)},index=index)
# 时间序列重采样（例如，将分钟级数据转换为小时级）
df_resampled = df_time.resample('H').mean()

# 生成数据
df = pd.DataFrame([[1,2],[1,2],[3,4]],columns=['a','b'])
# 低效的循环
for i in range(len(df)):
    df['c'][i] = df['a'][i] + df['b'][i]
# 高效的矢量化操作
df['c'] = df['a'] + df['b']

# 替换某些值
df['c'] = df['c'].where(df['c'] > 0, -df['col3'])

# 将整数列转换为更小的类型（例如，从 int64 到 uint8）
df['c'] = df['c'].astype('uint8')

from sklearn.preprocessing import StandardScaler
# 标准化处理
scaler = StandardScaler()
df_normalized = pd.DataFrame(scaler.fit_transform(df), columns=df.columns)

# 数据
index = pd.date_range('2025-3-1',periods=7,freq='D')
data = {'a':[1,2,3,4,5,1,1],
          'text':['Hello','first','world','black','star','table','rose']}
df = pd.DataFrame(data,index=index)
# 提取时间特征（例如，从日期中提取星期几）
df['day_of_week'] = df.index.dayofweek
# 文本数据处理（例如，词袋模型）
from sklearn.feature_extraction.text import CountVectorizer
vectorizer = CountVectorizer()
text_features = pd.DataFrame(vectorizer.fit_transform(df['text']).toarray(), 
                             columns=vectorizer.get_feature_names_out())
text_features.index = index
df_processed = pd.concat([df, text_features], axis=1)