pandas实现处理TB级别的数据

import pandas as pd

# 定义每次读取的行数
chunk_size = 100000
for chunk in pd.read_csv('large_file.csv', chunksize=chunk_size):
    # 在这里对每个数据块进行处理
    processed_chunk = chunk[chunk['column_name'] > 10]
    # 可以将处理后的数据块保存或进一步聚合
    # 例如，将处理后的数据块追加到一个文件中
    processed_chunk.to_csv('processed_file.csv', mode='a', header=not bool(chunk_number))
    chunk_number += 1

import dask.dataframe as dd

# 读取大型 CSV 文件
df = dd.read_csv('large_file.csv')

# 进行一些数据处理操作
result = df[df['column_name'] > 10].groupby('group_column').sum()

# 计算结果
final_result = result.compute()

import pandas as pd

# 读取数据
df = pd.read_csv('large_file.csv')

# 优化数据类型
df['integer_column'] = df['integer_column'].astype('int32')
df['float_column'] = df['float_column'].astype('float32')

import pandas as pd
import sqlite3

# 连接到数据库
conn = sqlite3.connect('large_database.db')

# 执行查询语句，只选择需要的数据
query = "SELECT column1, column2 FROM large_table WHERE condition = 'value'"
df = pd.read_sql(query, conn)

# 关闭数据库连接
conn.close()

import pyspark.pandas as ps

# 创建 SparkSession
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("LargeDataProcessing").getOrCreate()

# 读取大型 CSV 文件
df = ps.read_csv('large_file.csv')

# 进行数据处理操作
result = df[df['column_name'] > 10].groupby('group_column').sum()

# 输出结果
print(result)

# 停止 SparkSession
spark.stop()