C#使用Linq实现简单去重处理

更新时间：2025年02月20日 08:40:46 作者：我是苏苏

这篇文章主要为大家详细介绍了C#如何使用Linq实现简单去重处理功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下

一、示例代码

using System;
using System.Collections.Generic;
using System.Linq;
 
public class Program
{
    public static void Main()
    {
        // 创建一些示例实体对象
        var people = new List<Person>
        {
            new Person { Name = "Alice", Age = 30, City = "New York" },
            new Person { Name = "Bob", Age = 25, City = "Los Angeles" },
            new Person { Name = "Alice", Age = 30, City = "New York" },//重复的
            new Person { Name = "Charlie", Age = 35, City = "Chicago" },
            new Person { Name = "Alice", Age = 28, City = "San Francisco" }
        };
 
        // 1. 单字段去重
        var uniqueNameFields = people.DistinctBy(p =>p.Name).ToList();
        Console.WriteLine("指定字段（Name）去重结果,重复则保留第一条:");
        foreach (var person in uniqueNameFields)
        {
            Console.WriteLine($"Name: {person.Name}, Age: {person.Age}, City: {person.City}");
        }
 
        // 2. 多字段去重
        var uniqueNameAgeFields = people.DistinctBy(p => new { p.Name, p.Age }).ToList();
        Console.WriteLine("\n指定字段（Name, Age）去重结果,重复则保留第一条:");
        foreach (var person in uniqueNameAgeFields)
        {
            Console.WriteLine($"Name: {person.Name}, Age: {person.Age}, City: {person.City}");
        }
 
        //3.全字段去重
        // 通过 GroupBy 按 Name 和 Age 字段去重
        var uniquePeople = people.DistinctBy(p => new { p.Name, p.Age, p.City }).ToList();
        Console.WriteLine("\n全字段去重:");
        foreach (var person in uniquePeople)
        {
            Console.WriteLine($"Name: {person.Name}, Age: {person.Age}, City: {person.City}");
        }
    }
}
 
public class Person
{
    public string Name { get; set; }
    public int Age { get; set; }
    public string City { get; set; }
}

二、示例输出

指定字段（Name）去重结果,重复则保留第一条:
Name: Alice, Age: 30, City: New York
Name: Bob, Age: 25, City: Los Angeles
Name: Charlie, Age: 35, City: Chicago

指定字段（Name, Age）去重结果,重复则保留第一条:
Name: Alice, Age: 30, City: New York
Name: Bob, Age: 25, City: Los Angeles
Name: Charlie, Age: 35, City: Chicago
Name: Alice, Age: 28, City: San Francisco

全字段去重:
Name: Alice, Age: 30, City: New York
Name: Bob, Age: 25, City: Los Angeles
Name: Charlie, Age: 35, City: Chicago
Name: Alice, Age: 28, City: San Francisco

三、注意雷点

以下代码不能完成全字段去重，因为people是引用类型，Distinct() 一般用于List<string>,List<int>这些值类型去重，而不涉及引用类型的字段比较。

people.Distinct().ToList()

若需要全字段去重：1.使用DinstinctBy语法，加上所有字段。2.使用标题四的封装方法（反射实现全字段去重）。

四、全字段去重封装方法

1.封装

/// <summary>
/// 通用的全字段去重方法
/// </summary>
/// <returns></returns>
public static IEnumerable<T> DistinctByAllFields<T>(IEnumerable<T> items)
{
    // 获取 T 类型的所有字段值
    var properties = typeof(T).GetProperties(BindingFlags.Public | BindingFlags.Instance);
 
    return items
        .GroupBy(item => string.Join(",", properties.Select(p => p.GetValue(item))))  // 按所有字段值连接生成唯一标识符
        .Select(group => group.First());  // 取每组的第一个元素
}

2.示例

using System;
using System.Collections.Generic;
using System.Linq;
using System.Reflection;
 
public class Program
{
    public static void Main()
    {
        // 创建一些示例实体对象
        var people = new List<Person>
        {
            new Person { Name = "Alice", Age = 30, City = "New York" },
            new Person { Name = "Bob", Age = 25, City = "Los Angeles" },
            new Person { Name = "Alice", Age = 30, City = "New York" },
            new Person { Name = "Charlie", Age = 35, City = "Chicago" },
            new Person { Name = "Alice", Age = 28, City = "San Francisco" }
        };
 
        // 调用封装的去重方法
        var uniquePeople = DistinctByAllFields(people).ToList();
 
        Console.WriteLine("根据所有字段去重的结果:");
        foreach (var person in uniquePeople)
        {
            Console.WriteLine($"Name: {person.Name}, Age: {person.Age}, City: {person.City}");
        }
    }
 
    /// <summary>
    /// 通用的全字段去重方法
    /// </summary>
    /// <returns></returns>
    public static IEnumerable<T> DistinctByAllFields<T>(IEnumerable<T> items)
    {
        // 获取 T 类型的所有字段值
        var properties = typeof(T).GetProperties(BindingFlags.Public | BindingFlags.Instance);
 
        return items
            .GroupBy(item => string.Join(",", properties.Select(p => p.GetValue(item))))  // 按所有字段值连接生成唯一标识符
            .Select(group => group.First());  // 取每组的第一个元素
    }
}
 
public class Person
{
    public string Name { get; set; }
    public int Age { get; set; }
    public string City { get; set; }
}

以上就是C#使用Linq实现简单去重处理的详细内容，更多关于C# Linq去重的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

C#动态加载dll扩展系统功能的方法
这篇文章主要介绍了C#动态加载dll扩展系统功能的方法,涉及C#动态加载dll扩展的相关技巧,需要的朋友可以参考下
2015-04-04
C#使用AForge实现调用摄像头的示例详解
AForge是一个专门为开发者和研究者基于C#框架设计的,这个框架提供了不同的类库和关于类库的资源,本文为大家介绍了C#使用AForge实现调用摄像头的相关教程,需要的可以了解下
2023-11-11
C#实现格式化文本并导入到Excel
这篇文章主要为大家详细介绍了如何使用C#实现格式化文本并导入到Excel,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
2024-05-05
Unity游戏开发中必备的设计模式之外观模式详解
外观模式是一种结构型设计模式，为复杂系统提供了简单的接口，使得子系统间的通信更加简洁和易于维护。在Unity游戏开发中，外观模式可以帮助开发者更好地管理游戏对象和组件等复杂结构
2023-05-05
c#模拟银行atm机示例分享
这篇文章主要介绍了c#模拟银行atm机示例,实现了用户登录、用户存款、用户取款等功能,需要的朋友可以参考下
2014-03-03
C#实现批量下载图片到本地示例代码
这篇文章主要给大家介绍了关于C#如何实现批量下载图片到本地的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用c#具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2018-11-11
C#的WebBrowser的操作与注意事项介绍
C#的WebBrowser的操作与注意事项介绍，需要的朋友可以参考一下
2013-03-03
c# EnumHelper枚举常用操作类
在项目中需要把枚举填充到下拉框中，所以使用统一的方法实现，测试代码如下,需要的朋友可以参考下
2016-11-11
c#裁剪图片后使用zxing生成二维码示例分享
这篇文章主要介绍了c#裁剪图片后使用zxing生成二维码的示例，大家参考使用吧
2014-01-01
Unity实现透视滑动列表
这篇文章主要为大家详细介绍了Unity实现透视滑动列表，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-07-07