Python实现去除Excel重复数据并统计重复次数

from tqdm import tqdm
import pandas as pd
# 读取CSV文件，并指定数据类型为字符串
chunksize = 1000000  # 每次读取的块大小
value_counts = pd.Series(dtype=int)
for chunk in tqdm(pd.read_csv(r"C:\Users\dell\Desktop\表格一.csv", dtype=str, chunksize=chunksize), total=1219):
    # 获取所有文本数据并统计每个值的重复次数
    counts = pd.Series(chunk.values.ravel()).value_counts()
    value_counts = value_counts.add(counts, fill_value=0)

# 重置索引并按重复次数从高到低排序
value_counts = value_counts.reset_index()
value_counts.columns = ['城市', '重复次数']
value_counts = value_counts.sort_values(by='重复次数', ascending=False)

# 创建进度条
pbar = tqdm(total=len(value_counts), desc='Processing')
# 保存结果到新的CSV文件
value_counts.to_csv(r"C:\Users\dell\Desktop\表格二.csv", index=False)
# 更新进度条
pbar.update()
# 关闭进度条
pbar.close()
# 输出消息
print("已经去重完成，丫头！")

from tqdm import tqdm
import pandas as pd
# 读取CSV文件，并指定数据类型为字符串
chunksize = 1000000  # 每次读取的块大小
value_counts = pd.Series(dtype=int)
for chunk in tqdm(pd.read_csv(r"C:\Users\dell\Desktop\表格一.csv", dtype=str, chunksize=chunksize), total=1219):
    # 获取所有文本数据并统计每个值的重复次数
    counts = pd.Series(chunk.values.ravel()).value_counts()
    value_counts = value_counts.add(counts, fill_value=0)
# 重置索引并按重复次数从高到低排序
value_counts = value_counts.reset_index()
value_counts.columns = ['城市', '重复次数']
value_counts = value_counts.sort_values(by='重复次数', ascending=False)
# 创建进度条
pbar = tqdm(total=len(value_counts), desc='Processing')
# 保存结果到新的CSV文件
value_counts.to_csv(r"C:\Users\dell\Desktop\表格二.csv", index=False)
# 更新进度条
pbar.update()
# 关闭进度条
pbar.close()
# 输出消息
print("已经去重完成，丫头！")