详解c# PLINQ中的分区

 更新时间:2020年07月06日 09:36:05   作者:Savorboard  
这篇文章主要介绍了c# PLINQ中的分区的相关资料,文中示例代码非常详细,帮助大家更好的理解和学习,感兴趣的朋友可以了解下

  最近因为比较忙,好久没有写博客了,这篇主要给大家分享一下PLINQ中的分区。上一篇介绍了并行编程,这边详细介绍一下并行编程中的分区和自定义分区。

  先做个假设,假设我们有一个200Mb的文本文件需要读取,怎么样才能做到最优的速度呢?对,很显然就是拆分,把文本文件拆分成很多个小文件,充分利用我们计算机中的多核cpu的优势,让每个cpu都充分的利用,达到效率的最大化。然而在PLINQ中也是,我们有一个数据源,如果想进行最大的并行化操作,那么就需要把其拆分为可以多个线程同时访问的多个部分,这就是PLINQ中的分区。当然,微软已经为我们想到了这一点,知道他的用户可能会有这个需求,所以就先说一下微软给我们提供的默认的一个分区程序吧。

  微软提供的默认的分区程序又叫做任务并行库(TPL),其实就是当你用PLINQ的ForEach的时候,默认在其内部就会给我们进行分区。怎么样,是不是很方便。不过有时候,你可能会需要自己来进行拆分,那么就是另外一种跟高级一点的用法了,就是PLINQ的自定义分区。自定义分区有两种,一种是按照范围分区,另一种是按照区块分区。其中按照范围分区在针对链表集合能够提供非常好的性能,比如IList等,不过它也有一点缺点那就是如果一个线程提前完成,它将无法帮助其他线程完成它们的工作。按照区块分区是当我们不知道我们所要操作的集合的大小的时候,可以使用按照区块分区,在按区块分区中,并行循环或查询中的每个线程或任务都使用一个区块中一定数量的源元素,对它们进行处理,然后返回检索其他元素。分区程序可确保分发所有元素,并且没有重复项。区块可为任意大小。

  通常,只有当委托的执行时间为较短到中等程度,源具有大量的元素,并且每个分区的总工作量大致相等时,按范围分区的速度才会较快。因此,按区块分区的速度在大多数情况下较快。对于元素数量很少或委托执行时间较长的源,则按区块分区和按范围分区的性能大致相等。

  那么我们如何实现动态分区呢?下面有一个摘自MSDN的示例。

  每次分区对枚举器调用 MoveNext 时,枚举器都会提供包含一个列表元素的分区。对于 PLINQ 和 ForEach,分区是一个 Task 实例。由于请求同时在多个线程上发生,因此对当前索引的访问是同步的。

//
// An orderable dynamic partitioner for lists
//
class OrderableListPartitioner<TSource> : OrderablePartitioner<TSource>
{
  private readonly IList<TSource> m_input;

  public OrderableListPartitioner(IList<TSource> input)
    : base(true, false, true)
  {
    m_input = input;
  }

  // Must override to return true.
  public override bool SupportsDynamicPartitions
  {
    get
    {
      return true;
    }
  }

  public override IList<IEnumerator<KeyValuePair<long, TSource>>>
    GetOrderablePartitions(int partitionCount)
  {
    var dynamicPartitions = GetOrderableDynamicPartitions();
    var partitions =
      new IEnumerator<KeyValuePair<long, TSource>>[partitionCount];

    for (int i = 0; i < partitionCount; i++)
    {
      partitions[i] = dynamicPartitions.GetEnumerator();
    }
    return partitions;
  }

  public override IEnumerable<KeyValuePair<long, TSource>>
    GetOrderableDynamicPartitions()
  {
    return new ListDynamicPartitions(m_input);
  }

  private class ListDynamicPartitions
    : IEnumerable<KeyValuePair<long, TSource>>
  {
    private IList<TSource> m_input;
    private int m_pos = 0;

    internal ListDynamicPartitions(IList<TSource> input)
    {
      m_input = input;
    }

    public IEnumerator<KeyValuePair<long, TSource>> GetEnumerator()
    {
      while (true)
      {
        // Each task gets the next item in the list. The index is
        // incremented in a thread-safe manner to avoid races.
        int elemIndex = Interlocked.Increment(ref m_pos) - 1;

        if (elemIndex >= m_input.Count)
        {
          yield break;
        }

        yield return new KeyValuePair<long, TSource>(
          elemIndex, m_input[elemIndex]);
      }
    }

    IEnumerator IEnumerable.GetEnumerator()
    {
      return
        ((IEnumerable<KeyValuePair<long, TSource>>)this)
        .GetEnumerator();
    }
  }
}

class ConsumerClass
{
  static void Main()
  {
    var nums = Enumerable.Range(0, 10000).ToArray();
    OrderableListPartitioner<int> partitioner = new OrderableListPartitioner<int>(nums);

    // Use with Parallel.ForEach
    Parallel.ForEach(partitioner, (i) => Console.WriteLine(i));


    // Use with PLINQ
    var query = from num in partitioner.AsParallel()
          where num % 2 == 0
          select num;

    foreach (var v in query)
      Console.WriteLine(v);
  }
}

  这是按区块分区的示例,其中每个区块都由一个元素组成。通过一次提供多个元素,您可以减少锁争用,并在理论上实现更快的性能。但是,有时较大的区块可能需要额外的负载平衡逻辑才能使所有线程在工作完成之前保持忙碌。

以上就是详解c# PLINQ中的分区的详细内容,更多关于c# PLINQ中的分区的资料请关注脚本之家其它相关文章!

相关文章

  • FileShare枚举的使用小结(文件读写锁)

    FileShare枚举的使用小结(文件读写锁)

    其实/FileShare就是控制文件流的“访问权限”,当然,这仅仅是入门的文件操作,自己做了笔记,也希望能给大家带来帮助
    2014-01-01
  • C#实现win10 uwp 右击浮出窗在点击位置

    C#实现win10 uwp 右击浮出窗在点击位置

    本文主要让MenuFlyout出现在我们右击位置。我们建一个ListView,然后绑定后台,在我们ListView要右击显示我们的浮出,要求我们的浮出在我们点击位置
    2016-10-10
  • C#字符串与数值类型、字节数组的互相转换实战案例

    C#字符串与数值类型、字节数组的互相转换实战案例

    最近由于编程的需要,对C#的类型转换做了一些研究,下面这篇文章主要给大家介绍了关于C#字符串与数值类型、字节数组的互相转换的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2023-06-06
  • C# 批处理调用方法

    C# 批处理调用方法

    当批处理和aspx不在同一目录中时,最好用WorkingDirectory设置启动的进程的初始目录为批处理所在目录,否则如上例中批处理新建的目录就应在aspx所在目录中而不是批处理所在目录了!
    2008-12-12
  • C#操作注册表之Registry类

    C#操作注册表之Registry类

    这篇文章介绍了C#操作注册表之Registry类,文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-05-05
  • C#判断密码强度的方法

    C#判断密码强度的方法

    这篇文章主要介绍了C#判断密码强度的方法,较为详细的分析了C#判断密码强度的原理与实现技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-08-08
  • C#算法之整数反转

    C#算法之整数反转

    这篇文章介绍了C#算法之整数反转,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-01-01
  • C# 读写XML文件实例代码

    C# 读写XML文件实例代码

    在本篇文章里小编给大家整理的是关于C# 读写XML文件最简单方法,需要的朋友们可以跟着学习参考下。
    2020-03-03
  • C#中DataGridView导出Excel的两种方法

    C#中DataGridView导出Excel的两种方法

    这篇文章主要介绍了C#中DataGridView导出Excel的两种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-01-01
  • C#中Stopwatch的使用及说明

    C#中Stopwatch的使用及说明

    这篇文章主要介绍了C#中Stopwatch的使用及说明,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-02-02

最新评论