c#压缩字符串的方法

更新时间：2020年06月24日 14:34:08 作者：一线码农

这篇文章主要介绍了c#压缩字符串的方法，文中示例代码非常详细，供大家参考和学习，感兴趣的朋友可以了解下

一：背景

1. 讲故事

在我们的一个全内存项目中，需要将一家大品牌店铺小千万的trade灌入到内存中，大家知道trade中一般会有订单来源,省市区，当把这些字段灌进去后，你会发现他们特别侵蚀内存，因为都是字符串类型，不知道大家对内存侵蚀性是不是很清楚，我就问一个问题。

Question: 一个空字符串占用多大内存？你知道吗？

思考之后，下面我们就一起验证下，使用windbg去托管堆一查究竟，代码如下：

 static void Main(string[] args)
 {
  string s = string.Empty;

  Console.ReadLine();
 }

0:000> !clrstack -l
OS Thread Id: 0x308c (0)
 Child SP  IP Call Site
ConsoleApp6.Program.Main(System.String[]) [C:\dream\Csharp\ConsoleApp1\ConsoleApp6\Program.cs @ 19]
 LOCALS:
 0x00000087391febd8 = 0x000002605da91420
0:000> !DumpObj /d 000002605da91420
Name: System.String
String: 
Fields:
  MT Field Offset   Type VT Attr  Value Name
00007ff9eb2b85a0 4000281 8  System.Int32 1 instance  0 m_stringLength
00007ff9eb2b6838 4000282 c  System.Char 1 instance  0 m_firstChar
00007ff9eb2b59c0 4000286 d8 System.String 0 shared  static Empty
     >> Domain:Value 000002605beb2230:NotInit <<
0:000> !objsize 000002605da91420
sizeof(000002605da91420) = 32 (0x20) bytes (System.String)

从图中你可以看到，仅仅一个空字符串就要占用 32byte，如果500w个空字符串就是： 32byte x 500w = 152M，是不是不算不知道，一算吓一跳。。。这还仅仅是一个什么都没有的空字符串哦。

2. 回归到Trade

问题也已经摆出来了，接下来回归到Trade中，为了方便演示，先模拟以文件的形式从数据库读取20w的trade。

 class Program
 {
 static void Main(string[] args)
 {
  var trades = Enumerable.Range(0, 20 * 10000).Select(m => new Trade()
  {
  TradeID = m,
  TradeFrom = File.ReadLines(Environment.CurrentDirectory + "//orderfrom.txt")
     .ElementAt(m % 4)
  }).ToList();

  GC.Collect(); //方便测试，把临时变量清掉
  Console.WriteLine("执行成功");
  Console.ReadLine();
 }
 }

 class Trade
 {
 public int TradeID { get; set; }
 public string TradeFrom { get; set; }
 }

然后用windbg去跑一下托管堆，再量一下trades的大小。

0:000> !dumpheap -stat
Statistics:
  MT Count TotalSize Class Name
00007ff9eb2b59c0 200200 7010246 System.String

0:000> !objsize 0x000001a5860629a8
sizeof(000001a5860629a8) = 16097216 (0xf59fc0) bytes (System.Collections.Generic.List`1[[ConsoleApp6.Trade, ConsoleApp6]])

从上面输出中可以看到托管堆有200200 = 20w(程序分配)+ 200(系统分配)个，然后再看size： 16097216/1024/1024= 15.35M，这就是展示的所有原始情况。

二：压缩技巧分析

1. 使用字典化处理

其实在托管堆上有20w个字符串，但你仔细观察一下会发现其实就是4种状态的重复显示，要么一淘，要么淘宝。。。这就给了我优化机会，何不在获取数据的时候构建好OrderFrom的字典，然后在trade中附增一个TradeFromID记录字典中的映射值，因为特征值少，用byte就可以了，有了这个思想，可以把代码修改如下：

 class Program
 {
 public static Dictionary<int, string> orderfromDict = new Dictionary<int, string>();

 static void Main(string[] args)
 {
  var trades = Enumerable.Range(0, 20 * 10000).Select(m =>
  {
  var tradefrom = File.ReadLines(Environment.CurrentDirectory + "//orderfrom.txt")
     .ElementAt(m % 4);

  var kv = orderfromDict.FirstOrDefault(k => k.Value == tradefrom);

  if (kv.Key == 0)
  {
   orderfromDict.Add(orderfromDict.Count + 1, tradefrom);
  }

  var trade = new Trade() { TradeID = m, TradeFromID = (byte)kv.Key };

  return trade;

  }).ToList();

  GC.Collect(); //方便测试，把临时变量清掉

  Console.WriteLine("执行成功");

  Console.ReadLine();
 }
 }

 class Trade
 {
 public int TradeID { get; set; }

 public byte TradeFromID { get; set; }

 public string TradeFrom
 {
  get
  {
  return Program.orderfromDict[TradeFromID];
  }
 }
 }

代码还是很简单的，接下来用windbg看一下空间到底压缩了多少?

0:000> !dumpheap -stat
Statistics:
  MT Count TotalSize Class Name
00007ff9eb2b59c0 204 10386 System.String

0:000> !clrstack -l
OS Thread Id: 0x2ce4 (0)
 Child SP  IP Call Site
ConsoleApp6.Program.Main(System.String[]) [C:\dream\Csharp\ConsoleApp1\ConsoleApp6\Program.cs @ 42]
 LOCALS:
 0x0000006f4d9ff078 = 0x0000016fdcf82ab8

0000006f4d9ff288 00007ff9ecd96c93 [GCFrame: 0000006f4d9ff288] 
0:000> !objsize 0x0000016fdcf82ab8
sizeof(0000016fdcf82ab8) = 6897216 (0x693e40) bytes (System.Collections.Generic.List`1[[ConsoleApp6.Trade, ConsoleApp6]])

从上面的输出中可以看到，托管堆上string现在是：204 = 4（程序分配） + 200（系统分配）个，这4个就是字典中的4个哦，空间的话：6897216 /1024/1024= 6.57M，对应之前的 15.35M优化了将近60%。

虽然优化了60%，但这种优化是破坏性的优化，需要修改我的Trade结构，同时还要定义个Dictionary，而且还有不小幅度的修改业务逻辑，大家都知道线上的代码是能不改则不改，不改肯定没错，改出问题肯定是你兜着走，是吧，那问题就来了，如何最小化的修改而且还能压缩空间，有这样两全其美的事情吗？？？

2. 利用字符串驻留池

貌似一说出来，大家都如梦初醒，驻留池的出现就是为了解决这个问题，CLR会在内部维护了一个我刚才定义的字典机制，重复的字符串就不需要在堆上再次分配，直接存它的引用地址即可，如果你不清楚驻留池，建议看一下我这篇： https://www.jb51.net/article/189450.htm

接下来只需要在tradefrom 字段包一层 string.Intern 即可，改动不要太小，代码如下：

 static void Main(string[] args)
 {
  var trades = Enumerable.Range(0, 20 * 10000).Select(m => new Trade()
  {
  TradeID = m,
  TradeFrom = string.Intern(File.ReadLines(Environment.CurrentDirectory + "//orderfrom.txt")
     .ElementAt(m % 4)), //包一层 string.Intern
  }).ToList();

  GC.Collect(); //方便测试，把临时变量清掉
  Console.WriteLine("执行成功");
  Console.ReadLine();
 }

然后用windbg抓一下托管堆。

0:000> !dumpheap -stat 
Statistics:
  MT Count TotalSize Class Name
00007ff9eb2b59c0 204 10386 System.String

0:000> !clrstack -l
OS Thread Id: 0x13f0 (0)
 Child SP  IP Call Site

ConsoleApp6.Program.Main(System.String[]) [C:\dream\Csharp\ConsoleApp1\ConsoleApp6\Program.cs @ 27]
 LOCALS:
 0x0000005e4d3ff0a8 = 0x000001f8a15129a8

0000005e4d3ff2b8 00007ff9ecd96c93 [GCFrame: 0000005e4d3ff2b8] 
0:000> !objsize 0x000001f8a15129a8
sizeof(000001f8a15129a8) = 8497368 (0x81a8d8) bytes (System.Collections.Generic.List`1[[ConsoleApp6.Trade, ConsoleApp6]])

观察后发现，当用了驻留池之后空间为： 8497368 /1024/1024 =8.1M，你可能有疑问，为什么和字典化相比内存要大24%呢？仔细观察你会发现，当用驻留池后，List<Trade> 中的TradeFrom存的是string在堆中的内存地址，在x64机器上要占用8个字节，而字典化方式内存堆上Trade是不分配TradeFrom，而是用了一个byte来替代，总体来说相当于一个trade省了7byte的空间，然后用windbg看一下。

0:000> !da -length 1 -details 000001f8b16f9b68
Name: ConsoleApp6.Trade[]
Size: 2097176(0x200018) bytes
Array: Rank 1, Number of elements 262144, Type CLASS

 Fields:
   MT Field Offset   Type VT Attr  Value Name
 00007ff9eb2b85a0 4000001 10  System.Int32 1 instance   0 <TradeID>k__BackingField
 00007ff9eb2b59c0 4000002 8  System.String 0 instance 000001f8a1516030 <TradeFrom>k__BackingField

0:000> !DumpObj /d 000001f8a1516030
Name: System.String
String: WAP

可以看到, 000001f8a1516030 就是堆上 string=Wap的引用地址，这个地址占用了8byte空间。

再回头dump一下使用字典化方式的Trade,可以看到它是没有 <TradeFrom>k__BackingField 字段的。

0:000> !da -length 1 -details 000001ed52759ac0
Name: ConsoleApp6.Trade[]
Size: 262168(0x40018) bytes
Array: Rank 1, Number of elements 32768, Type CLASS
 Fields:
   MT Field Offset   Type VT Attr  Value Name
 00007ff9eb2b85a0 4000002 8  System.Int32 1 instance   0 <TradeID>k__BackingField
 00007ff9eb2b7d20 4000003 c  System.Byte 1 instance   0 <TradeFromID>k__BackingField

三：总结

大家可以根据自己的情况使用，使用驻留池方式是改变最小的，简单粗暴，自己构建字典化虽然最省内存，但需要修正业务逻辑，这个风险自担哦。。。

以上就是c#压缩字符串的方法的详细内容，更多关于c#压缩字符串的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

详解C#中yield关键字的用法
yield 关键字的用途是把指令推迟到程序实际需要的时候再执行，这个特性允许我们更细致地控制集合每个元素产生的时机，那么下面就一起来看下怎么用 yield 关键字吧
2023-07-07
c#求两个数中最大值的方法
这篇文章主要介绍了c#求两个数中最大值的方法,需要的朋友可以参考下
2014-02-02
在.NET WebService中跨域CORS问题的解决方案
在现代的Web应用程序开发中,跨域资源共享（Cross-Origin Resource Sharing, CORS）问题是开发者经常遇到的一个挑战,在这篇博客中,我们将深入探讨如何在 .NET WebService 中解决CORS问题,帮助开发者顺利实现跨域请求,需要的朋友可以参考下
2024-05-05
详解C#编程中一维数组与多维数组的使用
这篇文章主要介绍了详解C#编程中一维数组与多维数组的使用,包括数组初始化等基础知识的讲解,需要的朋友可以参考下
2016-01-01
C# XML字符串包含特殊字符的处理转换方法小结
今天用C#输出XML文件时，发现报错，经过反复检查调试，发现是因为某处内容含有某些特殊字符，这些特殊字符是在XML里不被允许的
2020-07-07
C#、vb.net及SQL判断指定年份是否为闰年的方法
这篇文章主要介绍了C#、vb.net及SQL判断指定年份是否为闰年的方法,分别以三种方法实现了判断闰年的功能,在进行项目开发中具有一定的参考借鉴价值,需要的朋友可以参考下
2014-11-11
详细分析c# 运算符重载
这篇文章主要介绍了c# 运算符重载的相关资料，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下
2020-07-07
WinForm限制窗体不能移到屏幕外的方法
这篇文章主要介绍了WinForm限制窗体不能移到屏幕外的方法,实例分析了C#中WinForm窗体操作的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下
2015-08-08
向一个数组中插入一个1~100的随机数
这篇文章主要介绍了如何向一个数组中插入一个1~100的随机数,思路很简单,需要的朋友可以参考下
2014-07-07
C#使用TreeView控件实现的二叉树泛型节点类及其方法
TreeView 控件在 C# 中主要用于显示分层结构的数据,这通常是一个文件系统的表示,但也可以是任何具有父子关系的数据集合,本文给大家介绍了C#使用TreeView控件实现的二叉树泛型节点类及其方法,需要的朋友可以参考下
2024-03-03

c#压缩字符串的方法

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具