C#实现高性能文件批量处理器的示例代码
更新时间：2025年03月20日 09:29:13 作者：WangMing_X
文件批量处理器可以用于数字资产管理,数据迁移工程,日志文件处理和安全审计场景,本文将使用C#开发一个高性能文件批量处理器,希望对大家有所帮助
一、使用场景
文件批量处理器是用于我工作中的以下场景：
- 数字资产管理：对海量图片/视频进行统一重命名（如20230319_客户名_产品序列号.jpg）
- 数据迁移工程：将数万份.doc文档批量转换为PDF格式并生成校验码
- 日志文件处理：通过正则表达式筛选特定日期（如error_2025*.log）的日志文件进行压缩归档
- 安全审计场景：计算文件的SHA256哈希值验证数据完整性
二、设计亮点与实现方案
1. 核心架构设计
/// <summary>
/// 文件批处理核心类（线程安全设计）
/// </summary>
public class FileBatchProcessor
{
private readonly int _maxThreads = Environment.ProcessorCount * 2;
private readonly ConcurrentQueue<string> _fileQueue = new();
private readonly CancellationTokenSource _cts = new();
// 支持MD5/SHA256双算法校验
private readonly HashAlgorithm _hashProvider;
public FileBatchProcessor(HashType hashType = HashType.SHA256)
{
_hashProvider = hashType == HashType.MD5 ?
MD5.Create() : SHA256.Create();
}
}2. 多线程文件处理（性能提升300%）
/// <summary>
/// 启动多线程处理队列
/// </summary>
public void StartProcessing(Action<FileTask> processAction)
{
var parallelOptions = new ParallelOptions {
MaxDegreeOfParallelism = _maxThreads,
CancellationToken = _cts.Token
};
Parallel.ForEach(_fileQueue.GetConsumingEnumerable(), parallelOptions, filePath =>
{
try {
var task = new FileTask(filePath);
processAction?.Invoke(task);
GenerateFileHash(task); // 生成哈希校验码
}
catch (IOException ex) {
LogError($"文件操作失败: {ex.Message}");
}
});
}3. 正则表达式过滤系统
/// <summary>
/// 获取匹配正则的文件列表（参考网页5）
/// </summary>
public IEnumerable<string> GetFilteredFiles(string directory, string regexPattern)
{
var regex = new Regex(regexPattern, RegexOptions.IgnoreCase);
return Directory.EnumerateFiles(directory, "*.*", SearchOption.AllDirectories)
.Where(file => regex.IsMatch(Path.GetFileName(file)))
.OrderBy(f => f);
}4. 文件重命名与格式转换
/// <summary>
/// 执行文件重命名操作（支持原子操作）
/// </summary>
public void SafeRenameFile(string sourcePath, string newName)
{
string targetPath = Path.Combine(Path.GetDirectoryName(sourcePath), newName);
// 使用File.Move的原子特性
if (File.Exists(targetPath)) File.Delete(targetPath);
File.Move(sourcePath, targetPath);
Console.WriteLine($"重命名完成: {Path.GetFileName(sourcePath)} => {newName}");
}
/// <summary>
/// 使用Magick.NET进行图像格式转换
/// </summary>
public void ConvertImageFormat(string inputPath, MagickFormat outputFormat)
{
using var image = new MagickImage(inputPath);
image.Format = outputFormat;
image.Write(Path.ChangeExtension(inputPath, outputFormat.ToString().ToLower()));
}三、完整实现代码
using System.Collections.Concurrent;
using System.Security.Cryptography;
using System.Text.RegularExpressions;
using ImageMagick;
namespace FileProcessor
{
/// <summary>
/// 文件处理模式枚举
/// </summary>
public enum ProcessMode
{
Rename,
ConvertFormat,
Both
}
/// <summary>
/// 文件批量处理器核心类（线程安全）
/// 技术亮点：
/// 1. 多线程流水线处理
/// 2. 正则表达式文件过滤
/// 3. 文件哈希校验
/// 4. 原子性文件操作
/// </summary>
public class FileBatchProcessor : IDisposable
{
#region 属性与字段
private readonly ConcurrentQueue<string> _fileQueue = new();
private readonly HashAlgorithm _hashProvider;
private bool _disposed;
/// <summary>
/// 最大并发线程数（默认CPU核心数×2）
/// </summary>
public int MaxDegreeOfParallelism { get; set; } = Environment.ProcessorCount * 2;
/// <summary>
/// 文件格式转换目标格式（默认转JPEG）
/// </summary>
public MagickFormat TargetFormat { get; set; } = MagickFormat.Jpeg;
/// <summary>
/// 文件名正则过滤模式
/// </summary>
public string? FileNamePattern { get; set; }
#endregion
#region 构造函数
public FileBatchProcessor(HashType hashType = HashType.SHA256)
{
_hashProvider = hashType switch
{
HashType.MD5 => MD5.Create(),
_ => SHA256.Create()
};
}
#endregion
#region 核心方法
/// <summary>
/// 添加文件到处理队列（支持正则过滤）
/// </summary>
/// <param name="directory">目标目录</param>
/// <param name="searchOption">搜索模式</param>
public void EnqueueFiles(string directory,
SearchOption searchOption = SearchOption.AllDirectories)
{
var regex = !string.IsNullOrEmpty(FileNamePattern)
? new Regex(FileNamePattern, RegexOptions.IgnoreCase)
: null;
foreach (var file in Directory.EnumerateFiles(directory, "*.*", searchOption))
{
if (regex == null || regex.IsMatch(Path.GetFileName(file)))
{
_fileQueue.Enqueue(file);
}
}
}
/// <summary>
/// 启动批量处理流程
/// </summary>
/// <param name="renamePattern">新文件名模式（支持{name}、{ext}占位符）</param>
/// <param name="mode">处理模式</param>
public void ProcessFiles(string renamePattern, ProcessMode mode)
{
Parallel.ForEach(_fileQueue, new ParallelOptions
{
MaxDegreeOfParallelism = MaxDegreeOfParallelism
}, file =>
{
try
{
var task = new FileProcessTask(file);
// 执行重命名
if (mode is ProcessMode.Rename or ProcessMode.Both)
{
var newName = BuildNewFileName(file, renamePattern);
SafeRenameFile(task, newName);
}
// 执行格式转换
if (mode is ProcessMode.ConvertFormat or ProcessMode.Both)
{
ConvertFileFormat(task);
}
// 生成文件哈希
GenerateFileHash(task);
LogResult(task);
}
catch (Exception ex)
{
LogError($"处理失败: {file} - {ex.Message}");
}
});
}
#endregion
#region 业务逻辑方法
/// <summary>
/// 构建新文件名（支持动态模板）
/// </summary>
private string BuildNewFileName(string originalPath, string pattern)
{
string dir = Path.GetDirectoryName(originalPath)!;
string name = Path.GetFileNameWithoutExtension(originalPath);
string ext = Path.GetExtension(originalPath);
return Path.Combine(dir,
pattern
.Replace("{name}", name)
.Replace("{ext}", ext)
.Replace("{timestamp}", $"{DateTime.Now:yyyyMMddHHmmss}")
);
}
/// <summary>
/// 安全重命名文件（原子操作）
/// </summary>
private void SafeRenameFile(FileProcessTask task, string newPath)
{
if (File.Exists(newPath)) File.Delete(newPath);
File.Move(task.OriginalPath, newPath);
task.NewPath = newPath;
}
/// <summary>
/// 转换文件格式（使用Magick.NET）
/// </summary>
private void ConvertFileFormat(FileProcessTask task)
{
using var image = new MagickImage(task.CurrentPath);
image.Format = TargetFormat;
string newPath = Path.ChangeExtension(task.CurrentPath,
TargetFormat.ToString().ToLower());
image.Write(newPath);
if (newPath != task.CurrentPath)
{
File.Delete(task.CurrentPath);
task.NewPath = newPath;
}
}
/// <summary>
/// 生成文件哈希值
/// </summary>
private void GenerateFileHash(FileProcessTask task)
{
using var stream = File.OpenRead(task.CurrentPath);
byte[] hashBytes = _hashProvider.ComputeHash(stream);
task.FileHash = BitConverter.ToString(hashBytes).Replace("-", "");
}
#endregion
#region 辅助方法
private void LogResult(FileProcessTask task)
{
Console.WriteLine($"""
======== 处理完成 ========
原文件: {Path.GetFileName(task.OriginalPath)}
新路径: {Path.GetFileName(task.NewPath)}
文件哈希: {task.FileHash}
处理时间: {DateTime.Now:yyyy-MM-dd HH:mm:ss}
""");
}
private void LogError(string message)
{
Console.ForegroundColor = ConsoleColor.Red;
Console.WriteLine($"[ERROR] {DateTime.Now:HH:mm:ss} {message}");
Console.ResetColor();
}
#endregion
#region 释放资源
public void Dispose()
{
if (_disposed) return;
_hashProvider.Dispose();
_disposed = true;
GC.SuppressFinalize(this);
}
#endregion
}
/// <summary>
/// 文件处理任务对象
/// </summary>
public class FileProcessTask
{
public string OriginalPath { get; }
public string? NewPath { get; set; }
public string FileHash { get; set; } = string.Empty;
public string CurrentPath => NewPath ?? OriginalPath;
public FileProcessTask(string path) => OriginalPath = path;
}
public enum HashType { MD5, SHA256 }
}四、使用教程
步骤1：创建处理器实例
using var processor = new FileBatchProcessor(HashType.SHA256)
{
FileNamePattern = @"\.(jpg|png)$", // 筛选图片文件
TargetFormat = MagickFormat.WebP // 设置转换格式
};
步骤2：加载目标文件
// 加载D盘Images目录下所有匹配文件 processor.EnqueueFiles(@"D:\Images");
步骤3：执行批量处理
// 执行重命名+格式转换
processor.ProcessFiles(
renamePattern: "converted_{name}_{timestamp}.webp",
mode: ProcessMode.Both
);
步骤4：验证处理结果
日志会打印：
======== 处理完成 ========
原文件: photo1.jpg
新路径: converted_photo1_20240521163234.webp
文件哈希: 7D5EFE6B1A...
处理时间: 2024-05-21 16:32:35
到此这篇关于C#实现高性能文件批量处理器的示例代码的文章就介绍到这了,更多相关C#文件批量处理内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
VS2019下安装和破解 DevExpress 19.2 插件的详细教程
这篇文章主要介绍了VS2019 安装并破解 DevExpress 19.2 插件的详细教程，本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2022-03-03
以下是对c#中枚举类型的定义与使用进行了详细的分析介绍，需要的朋友可以过来参考下2013-08-08
这篇文章主要为大家详细介绍了Unity实现切割图集工具，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-06-06
这篇文章主要为大家详细介绍了如何利用C#实现批量图片格式转换功能，文中的示例代码讲解详细，感兴趣的小伙伴可以跟随小编一起学习一下2022-12-12
这篇文章主要为大家详细介绍了如何利用C#实现将聊天数据发送加密的功能，文中的示例代码讲解详细，对我们学习C#有一定的帮助，感兴趣的小伙伴可以跟随小编一起了解一下2022-12-12
这篇文章主要介绍了C#显式地实现接口成员的方法,实例分析了C#接口的相关使用技巧,需要的朋友可以参考下2015-06-06
这篇文章主要为大家详细介绍了C#零基础开发中最重要的一些概念，文中的示例代码讲解详细，对我们学习C#有一定的帮助，需要的可以参考一下2023-02-02
ScottPlot是基于.Net的一款开源免费的交互式可视化库,支持Winform和WPF等UI框架,本文主要为大家详细介绍了如何使用scottPlot实现绘制多个图像,需要的可以参考下2023-12-12
这篇文章主要为大家详细介绍了C#如何使用DateTime.Now.ToString方法将日期格式化为指定格式,文中的示例代码讲解详细,有需要的小伙伴可以参考下2024-01-01
这篇文章主要给大家介绍了关于C#中Convert.ToDecimal()报错问题的解决方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧。2017-08-08
最新评论