从基础到进阶详解Pandas时间数据处理指南

# 自动识别格式转换
df['event_time'] = pd.to_datetime(df['raw_time'], format='%Y/%m/%d %H:%M', errors='coerce')
 
# 处理非常规格式（欧洲日期）
euro_dates = pd.to_datetime(['11-10-2025', '12-11-2025'], dayfirst=True)

# 生成工作日序列（排除周末）
business_days = pd.date_range(start='2025-01-01', end='2025-01-31', freq='B')
 
# 创建自定义频率（每两周周一）
biweekly_mondays = pd.date_range(start='2025-01-01', periods=6, freq='2W-MON')

# 方式1：直接转换后设置索引
df.index = pd.to_datetime(df.pop('timestamp_column'))
 
# 方式2：链式操作（推荐）
df = df.set_index(pd.to_datetime(df['raw_time'])).drop(columns=['raw_time'])

# 部分字符串匹配（自动解析）
jan_data = df['2025-01']  # 提取2025年1月所有数据
 
# 跨频率切片（日->月）
q1_data = df['2025-01':'2025-03']  # 自动识别季度边界
 
# 精确时间点定位
specific_time = df.loc[pd.Timestamp('2025-06-11 09:30:00')]

# 月末对齐操作
df['eom_value'] = df['value'].shift(1, freq=pd.offsets.MonthEnd())
 
# 复杂重采样（工作日对齐）
weekly_avg = df.resample('W-FRI', closed='right').mean()  # 每周五收盘价

# 滚动窗口（自适应边界）
rolling_mean = df.rolling('7D', min_periods=3).mean()  # 7天窗口，最少3个有效值
 
# 指数加权移动平均
ewma = df.ewm(span=30).mean()  # 30天指数衰减权重

# 本地化UTC时间
df['utc_time'] = pd.to_datetime(df['utc_time']).dt.tz_localize('UTC')
 
# 转换为目标时区
ny_time = df['utc_time'].dt.tz_convert('America/New_York')

# 创建带时区的时间索引
tz_aware_idx = pd.date_range('2025-06-01', periods=3, tz='Asia/Shanghai')
 
# 跨时区数据对齐
merged_df = df_ny.tz_convert('UTC').combine_first(df_london.tz_convert('UTC'))

# 创建季度周期
quarterly = pd.PeriodIndex(start='2025Q1', end='2025Q4', freq='Q')
 
# 周期转换
df['monthly'] = df['daily'].resample('M').sum()
df['quarterly'] = df['monthly'].asfreq('Q', method='ffill')

# 自定义财政年度（如每年4月开始）
fy_index = pd.period_range(start='2024-04', end='2025-03', freq='Q-APR')

# 读取并转换时间数据
meter_data = pd.read_csv('smart_meter.csv', parse_dates=['record_time'], index_col='record_time')
 
# 缺失值处理（前向填充）
meter_data = meter_data.resample('15T').asfreq().fillna(method='ffill')

# 创建时间特征
meter_data['hour'] = meter_data.index.hour
meter_data['weekday'] = meter_data.index.weekday
 
# 滚动统计特征
meter_data['7d_avg'] = meter_data['usage'].rolling('7D').mean()

# 季节性分解
from statsmodels.tsa.seasonal import seasonal_decompose
result = seasonal_decompose(meter_data['usage'], model='additive', period=24*4)
 
# 残差分析
anomalies = result.resid.abs() > 3 * result.resid.std()

# 替代循环的向量化操作
df['time_diff'] = (df.index - df.index[0]).total_seconds() / 3600  # 计算距首条记录小时数

# 降低时间精度（从纳秒到秒）
df.index = df.index.astype('datetime64[s]')
 
# 使用PeriodIndex替代Timestamp（适合低频数据）
df.index = pd.PeriodIndex(df.index, freq='D')