一文详解Pandas时间数据处理技巧

import pandas as pd
 
# 方式1：自动推断格式
ts1 = pd.to_datetime('20250617', format='%Y%m%d')
 
# 方式2：处理不标准格式
ts2 = pd.to_datetime('17.06.2025', dayfirst=True)
 
# 方式3：批量转换
dates = ['2025-Q1', '2025-Q2']
ts3 = pd.to_datetime(dates, format='%Y-Q%q')

sales = pd.Series([100, 200], 
                 index=pd.PeriodIndex(['2025-06', '2025-07'], freq='M'))

# 生成工作日序列（跳过周末）
workdays = pd.date_range('2025-06-01', '2025-06-30', 
                        freq='B',  # Business day
                        closed='left')  # 不包含结束点
 
# 生成自定义频率（每3小时20分钟）
custom_freq = pd.date_range('2025-06-17', periods=5,
                           freq='3H20T')
 
# 生成逆向时间序列
reverse_dates = pd.date_range('2025-06-30', '2025-06-01',
                             freq='-1D')

df = pd.DataFrame({'value': [1,3,5]},
                 index=pd.to_datetime(['2025-06-01',
                                     '2025-06-03',
                                     '2025-06-06']))
# 填充缺失日期，前值填充
filled_df = df.asfreq('D', method='ffill')

minute_data = pd.DataFrame(np.random.randn(10000),
                          index=pd.date_range('2025-06-01',
                                            periods=10000,
                                            freq='T'))
# 计算每日开盘价、最高价、收盘价
daily_ohlc = minute_data.resample('D').agg([
    'first',  # 开盘价
    'max',    # 最高价
    'last'    # 收盘价
])

daily_data = pd.Series([100, 105],
                     index=pd.to_datetime(['2025-06-01',
                                         '2025-06-03']))
# 线性插值填充缺失小时
hourly_data = daily_data.resample('H').interpolate(method='linear')

# 计算5日移动平均
df['MA5'] = df['close'].rolling(5).mean()
 
# 指数加权移动平均（适合近期数据）
df['EWMA'] = df['close'].ewm(span=5).mean()

# 计算累计最大值
df['cum_max'] = df['high'].expanding().max()

# 每3天计算一次标准差（非连续）
df['3d_std'] = df['volume'].rolling(3, min_periods=1,
                                  closed='both').std()

# 创建带时区的时间
ny_time = pd.Timestamp('2025-06-17 10:00', tz='America/New_York')
 
# 时区转换（自动处理夏令时）
london_time = ny_time.tz_convert('Europe/London')
 
# 批量转换时间序列
df['local_time'] = df['utc_time'].dt.tz_localze('UTC').dt.tz_convert('Asia/Shanghai')

# 关闭索引对齐，速度提升3-5倍
df1.add(df2, axis=1, fill_value=0)  # 错误方式
df1.values + df2.values  # 正确方式（需确保索引一致）

# 将时间特征转为分类类型
df['hour'] = df.index.hour.astype('category')

# 错误方式：逐行计算
df['day'] = df.index.dayofweek
 
# 正确方式：向量化操作
df['day'] = df.index.dayofweek.values

# 读取数据（假设已有日线数据）
df = pd.read_csv('maotai.csv', index_col='date', parse_dates=True)
 
# 生成周线数据（每周最后一个交易日）
weekly_df = df.resample('W-FRI').agg({
    'open': 'first',
    'high': 'max',
    'low': 'min',
    'close': 'last',
    'volume': 'sum'
})
 
# 计算周线MACD
weekly_df['EMA12'] = weekly_df['close'].ewm(span=12).mean()
weekly_df['EMA26'] = weekly_df['close'].ewm(span=26).mean()
weekly_df['MACD'] = weekly_df['EMA12'] - weekly_df['EMA26']

# 错误：假设每年都是365天
days_in_year = (pd.Timestamp('2024-12-31') - 
              pd.Timestamp('2024-01-01')).days  # 正确结果应为366

# 错误：直接比较字符串时间
df[df['time'] > '2025-06-17 15:00:00']
 
# 正确：先转为时间对象
df[df['time'] > pd.Timestamp('2025-06-17 15:00:00')]

# 错误：计算23:00到次日01:00的时间差
(pd.Timestamp('2025-06-18 01:00') - 
 pd.Timestamp('2025-06-17 23:00')).total_seconds()/3600  # 正确结果应为2小时