Python Melt函数将宽格式的数据表转换为长格式

pip install pandas

import pandas as pd
# 创建一个示例DataFrame
data = {
    'Date': ['2022-01-01', '2022-01-02', '2022-01-03'],
    'Tokyo': [15, 16, 12],
    'Paris': [10, 11, 13],
    'New York': [5, 8, 7]
}
df = pd.DataFrame(data)
# 使用melt函数进行宽格式转换为长格式
melted_df = pd.melt(df, id_vars=['Date'], var_name='City', value_name='Temperature')
print(melted_df)

import pandas as pd
# 创建一个示例DataFrame
data = {
    'Date': ['2022-01-01', '2022-01-02', '2022-01-03'],
    'Tokyo_Temperature': [15, 16, 12],
    'Paris_Temperature': [10, 11, 13],
    'NewYork_Temperature': [5, 8, 7]
}
df = pd.DataFrame(data)
# 使用melt函数，同时指定多个参数
melted_df = pd.melt(
    df,
    id_vars=['Date'],
    var_name='City_Temperature',
    value_name='Temperature',
    col_level=0,
    ignore_index=False
)
print(melted_df)

import pandas as pd
# 假设有一个实验数据的宽格式DataFrame
data = {
    'Subject': ['A', 'B', 'C'],
    'Before_Treatment': [25, 30, 28],
    'After_Treatment': [20, 25, 22],
}
df = pd.DataFrame(data)
# 使用melt函数将宽格式转换为长格式，方便进一步分析
melted_df = pd.melt(df, id_vars=['Subject'], var_name='Treatment', value_name='Temperature')
print(melted_df)

# 示例：使用melt时的性能优化示例
# 避免不必要的复制，减少内存占用
melted_df_inplace = pd.melt(df, id_vars=['Subject'], var_name='Treatment', value_name='Temperature', col_level=0)
# 使用合适的数据类型，减小内存占用
df['Before_Treatment'] = pd.to_numeric(df['Before_Treatment'], downcast='integer')
df['After_Treatment'] = pd.to_numeric(df['After_Treatment'], downcast='integer')
# 选择只需要的列进行melt，减少计算量
melted_df_selective = pd.melt(df[['Subject', 'Before_Treatment', 'After_Treatment']], id_vars=['Subject'], var_name='Treatment', value_name='Temperature')
# 使用并行处理提高性能
melted_df_parallel = pd.concat([df_part.melt(id_vars=['Subject'], var_name='Treatment', value_name='Temperature') for df_part in np.array_split(df, 4)])

# 示例：melt函数的注意事项和错误处理
# 注意事项1：重复列名
df_duplicate_columns = pd.DataFrame({'A': [1, 2], 'B': [3, 4], 'A': [5, 6]})
# 使用melt时，可能导致错误
# melted_df_duplicate_columns = pd.melt(df_duplicate_columns, id_vars=['Subject'], var_name='Treatment', value_name='Temperature')
# 错误处理1：避免重复列名
df_no_duplicate_columns = pd.DataFrame({'A': [1, 2], 'B': [3, 4], 'C': [5, 6]})
melted_df_no_duplicate_columns = pd.melt(df_no_duplicate_columns, id_vars=['Subject'], var_name='Treatment', value_name='Temperature')
# 注意事项2：缺失值处理
df_missing_values = pd.DataFrame({'Subject': ['S1', 'S2'], 'Before_Treatment': [25, np.nan], 'After_Treatment': [28, 30]})
# 使用melt时，缺失值可能引起问题
# melted_df_missing_values = pd.melt(df_missing_values, id_vars=['Subject'], var_name='Treatment', value_name='Temperature')
# 错误处理2：在需要的情况下处理缺失值
df_missing_values_filled = df_missing_values.fillna(0)
melted_df_missing_values_filled = pd.melt(df_missing_values_filled, id_vars=['Subject'], var_name='Treatment', value_name='Temperature')