脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → C#教程 → C#并行LINQ(PLINQ)

C#并行编程之PLINQ(并行LINQ)

 更新时间：2022年05月09日 14:37:08   作者：springsnow  
这篇文章介绍了C#并行编程之PLINQ(并行LINQ)，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下

用于对内存中的数据做并行运算，也就是说其只支持 LINQ to Object 的并行运算

一、AsParallel(并行化）

就是在集合后加个AsParallel()。

例如：

var numbers = Enumerable.Range(0, 100);
var result = numbers.AsParallel().AsOrdered().Where(i => i % 2 == 0);
foreach (var i in result)
Console.WriteLine(i);

下面我们模拟给ConcurrentDictionary灌入1500w条记录，看看串行和并行效率上的差异，注意我的老爷机是2个硬件线程。

static void Main(string[] args)
{
    var dic = LoadData();

    Stopwatch watch = new Stopwatch();

    watch.Start();

    //串行执行
    var query1 = (from n in dic.Values
                  where n.Age > 20 && n.Age < 25
                  select n).ToList();

    watch.Stop();

    Console.WriteLine("串行计算耗费时间：{0}", watch.ElapsedMilliseconds);

    watch.Restart();

    var query2 = (from n in dic.Values.AsParallel()
                  where n.Age > 20 && n.Age < 25
                  select n).ToList();

    watch.Stop();

    Console.WriteLine("并行计算耗费时间：{0}", watch.ElapsedMilliseconds);

    Console.Read();
}

public static ConcurrentDictionary<int, Student> LoadData()
{
    ConcurrentDictionary<int, Student> dic = new ConcurrentDictionary<int, Student>();

    //预加载1500w条记录
    Parallel.For(0, 15000000, (i) =>
    {
        var single = new Student()
        {
            ID = i,
            Name = "hxc" + i,
            Age = i % 151,
            CreateTime = DateTime.Now.AddSeconds(i)
        };
        dic.TryAdd(i, single);
    });

    return dic;
}

public class Student
{
    public int ID { get; set; }

    public string Name { get; set; }

    public int Age { get; set; }

    public DateTime CreateTime { get; set; }
}

orderby,sum(),average()等等这些聚合函数都是实现了并行化。

二、指定并行度

这个我在前面文章也说过，为了不让并行计算占用全部的硬件线程，或许可能要留一个线程做其他事情。

var query2 = (from n in dic.Values.AsParallel().WithDegreeOfParallelism(Environment.ProcessorCount - 1)
where n.Age > 20 && n.Age < 25
    orderby n.CreateTime descending
    select n).ToList();

三、了解ParallelEnumerable类

首先这个类是Enumerable的并行版本，提供了很多用于查询实现的一组方法，下图为ParallelEnumerable类的方法，记住他们都是并行的。

ConcurrentBag<int> bag = new ConcurrentBag<int>();
 var list = ParallelEnumerable.Range
(0, 10000);
 list.ForAll((i) =>
 {
     bag.Add(i);
 });

 Console.WriteLine("bag集合中元素个数有:{0}", bag.Count);
 Console.WriteLine("list集合中元素个数总和为:{0}", list.Sum());
 Console.WriteLine("list集合中元素最大值为:{0}", list.Max());
 Console.WriteLine("list集合中元素第一个元素为:{0}", list.FirstOrDefault());

四、plinq实现MapReduce算法

mapReduce是一个非常流行的编程模型，用于大规模数据集的并行计算，非常的牛X啊，记得mongodb中就用到了这个玩意。

  • map：  也就是“映射”操作，可以为每一个数据项建立一个键值对，映射完后会形成一个键值对的集合。
  • reduce：“化简”操作，我们对这些巨大的“键值对集合“进行分组，统计等等。

下面我举个例子，用Mapreduce来实现一个对age的分组统计。

static void Main(string[] args)
{
    List<Student> list = new List<Student>()
    {
        new Student(){ ID=1, Name="jack", Age=20},
        new Student(){ ID=1, Name="mary", Age=25},
        new Student(){ ID=1, Name="joe", Age=29},
        new Student(){ ID=1, Name="Aaron", Age=25},
    };

    //这里我们会对age建立一组键值对
    var map = list.AsParallel().ToLookup(i => i.Age, count => 1);

    //化简统计
    var reduce = from IGrouping<int, int> singleMap
                 in map.AsParallel()
                 select new
                 {
                     Age = singleMap.Key,
                     Count = singleMap.Count()
                 };

    ///最后遍历
    reduce.ForAll(i =>
    {
        Console.WriteLine("当前Age={0}的人数有:{1}人", i.Age, i.Count);
    });
}

public class Student
{
    public int ID { get; set; }

    public string Name { get; set; }

    public int Age { get; set; }

    public DateTime CreateTime { get; set; }
}

考虑一个简单的例子，现有一个容量为1000000的单词集，需要我们以降序列出其中出现次数超过100000的单词（和其次数）。Map过程，使用PLINQ将集合按单词分组，这里使用了Lookup容器接口，它与Dictionary类似，但是提供的是键-值集映射；Reduce过程，使用PLINQ归约查询即可。

某一次运行结果如下：

Word: you, Count: 142416
Word: van, Count: 115816
Word: next, Count: 110228

到此这篇关于C#并行编程之PLINQ(并行LINQ)的文章就介绍到这了。希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • c# 递归访问文件夹(删掉歌词文件)

    c# 递归访问文件夹(删掉歌词文件)

    今天想把我的音乐里面500首的mp3都拷到手机里，不过这些mp3都有很多层目录，而且每首歌曲都还有歌词文件，我只想留下mp3，歌词文件都删掉，就写了个小程序跑一下，比手动删快多了
    2012-06-06
  • 详解c# 类型转换

    详解c# 类型转换

    这篇文章主要介绍了c# 类型转换的相关资料，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以学习
    2020-07-07
  • C#实现批量Word转换Html的示例代码

    C#实现批量Word转换Html的示例代码

    这篇文章主要为大家详细介绍了如何利用C#批量Word转换Html的功能，文中的示例代码讲解详细，对我们学习C#有一定的帮助，感兴趣的小伙伴可以跟随小编一起了解一下
    2022-12-12
  • 如何用C#创建用户自定义异常浅析

    如何用C#创建用户自定义异常浅析

    虽然在 C# 语言中已经提供了很多异常处理类,但在实际编程中还是会遇到未涉及的一些异常处理,这篇文章主要给大家介绍了关于如何用C#创建用户自定义异常的相关资料,需要的朋友可以参考下
    2021-06-06
  • 在C#中生成PDF的步骤详解

    在C#中生成PDF的步骤详解

    在 .NET 世界中,存在许多 PDF 库,但我们发现,使用集成浏览器生成 PDF 更为简单,由于 DotNetBrowser 可以在完全脱离屏幕的情况下工作,本文给大家介绍了如何在 C# 中生成 PDF,需要的朋友可以参考下
    2024-10-10
  • 深入理解c# checked unchecked 关键字

    深入理解c# checked unchecked 关键字

    本篇文章是对c#中的checked unchecked 关键字进行了详细的分析介绍，需要的朋友参考下
    2013-05-05
  • Unity Shader实现纹理遮罩效果

    Unity Shader实现纹理遮罩效果

    这篇文章主要为大家详细介绍了Unity Shader实现纹理遮罩效果，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2020-04-04
  • 理解C#编程中的静态类和静态成员以及密封类

    理解C#编程中的静态类和静态成员以及密封类

    这篇文章主要介绍了理解C#编程中的静态类和静态成员以及密封类,注意类成员的相关访问限制和类的继承问题,需要的朋友可以参考下
    2016-01-01
  • 浅谈C#泛型的用处与特点

    浅谈C#泛型的用处与特点

    泛型是 2.0 版 C# 语言和公共语言运行库 (CLR) 中的一个新功能。泛型将类型参数的概念引入 .NET Framework，类型参数使得设计如下类和方法成为可能：这些类和方法将一个或多个类型的指定推迟到客户端代码声明并实例化该类或方法的时候
    2013-09-09
  • C#事件(event)使用方法详解

    C#事件(event)使用方法详解

    本文给大家介绍了在C#中，事件(event)的概念和使用方法，文章适合一些初学者学习，主要讲解了一些概念和一些代码案例。
    2018-01-01

最新评论