Python Pandas高效处理Excel数据完整指南

# 推荐环境：Anaconda套件（已集成Pandas/OpenPyXL）
# 或通过pip安装
pip install pandas openpyxl xlrd

import pandas as pd
 
# 基础读取
df = pd.read_excel('sales_data.xlsx', sheet_name='Sheet1')
 
# 进阶参数示例
df = pd.read_excel(
    'large_file.xlsx',
    nrows=10000,          # 仅读取前1万行
    usecols='C:F',        # 读取C到F列
    dtype={'订单号': str}  # 指定列数据类型
)

# 检测重复项
duplicates = df[df.duplicated(subset=['订单号', '产品ID'])]
 
# 智能去重（保留最新记录）
df.sort_values('下单时间', inplace=True)
df.drop_duplicates(subset=['订单号'], keep='last', inplace=True)

# 字符串转日期（处理Excel日期格式混乱）
df['下单日期'] = pd.to_datetime(
    df['下单日期'],
    format='%Y/%m/%d',  # 明确指定格式
    errors='coerce'     # 无效解析转为NaT
)
 
# 数值规范化（处理科学计数法）
df['产品ID'] = df['产品ID'].astype('str').str.zfill(10)

pivot = df.pivot_table(
    index='销售区域',
    columns='产品类别',
    values='订单金额',
    aggfunc={
        '订单金额': 'sum',
        '订单号': 'count'
    },
    fill_value=0
)
 
# 计算客单价
pivot['客单价'] = pivot['订单金额'] / pivot['订单号']

# 数值异常检测示例
z_scores = (df['订单金额'] - df['订单金额'].mean()) / df['订单金额'].std()
outliers = df[z_scores.abs() > 3]
 
# 分类异常检测（需安装`pandas-profiling`）
# pip install pandas-profiling
import pandas_profiling
profile = pandas_profiling.ProfileReport(df)
profile.to_file("report.html")

orders = pd.read_excel('orders.xlsx')
customers = pd.read_excel('customers.xlsx')
 
# 左连接（保留所有订单）
merged = pd.merge(
    orders,
    customers[['客户ID', '客户等级', '所属区域']],
    on='客户ID',
    how='left'
)

# 分块读取处理（适用于500MB+文件）
chunk_size = 50000
chunks = []
for chunk in pd.read_excel('huge_data.xlsx', chunksize=chunk_size):
    # 每个chunk进行清洗操作
    chunk = clean_data(chunk)
    chunks.append(chunk)
df = pd.concat(chunks)

# 转换数据类型节省内存
df['订单号'] = df['订单号'].astype('category')  # 类别型
df['订单金额'] = df['订单金额'].astype('float32') # 浮点数降精度
 
# 删除中间变量
del chunk
import gc
gc.collect()  # 强制垃圾回收

# 生成分析摘要
report = f"""
=== 销售数据概览 ===
总订单数: {len(df):,}
总销售额: {df['订单金额'].sum():,.2f}
平均客单价: {df['订单金额'].mean():,.2f}
"""
 
with open('report.txt', 'w') as f:
    f.write(report)
 
# 导出处理后数据
df.to_excel('cleaned_data.xlsx', index=False)

import matplotlib.pyplot as plt
 
# 销售趋势分析
monthly_sales = df.resample('M', on='下单日期')['订单金额'].sum()
 
plt.figure(figsize=(12,6))
monthly_sales.plot(kind='bar', color='skyblue')
plt.title('月度销售趋势')
plt.xlabel('月份')
plt.ylabel('销售额（万元）')
plt.savefig('sales_trend.png', dpi=300, bbox_inches='tight')

bank_df = pd.read_excel('bank_statement.xlsx')
internal_df = pd.read_excel('internal_records.xlsx')
 
merged = pd.merge(
    bank_df,
    internal_df,
    left_on=['交易时间', '金额'],
    right_on=['记账时间', '发生额'],
    how='outer',
    indicator=True
)
 
unmatched = merged[merged['_merge'] != 'both']

inventory = pd.read_excel('inventory.xlsx')
 
# 安全库存计算（考虑采购周期）
inventory['安全库存'] = inventory['日均销量'] * 7
inventory['库存状态'] = np.where(
    inventory['当前库存'] < inventory['安全库存'],
    '需补货',
    '正常'
)
 
alert = inventory[inventory['库存状态'] == '需补货']