c# 用Dictionary实现日志数据批量插入

 更新时间:2021年02月01日 11:51:12   作者:UP技术控  
这篇文章主要介绍了c# 用Dictionary实现日志数据批量插入的步骤,帮助大家更好的理解和使用c#中的Dictionary类,感兴趣的朋友可以了解下

背景

最近再做一个需求,就是对站点的一些事件进行埋点,说白了就是记录用户的访问行为。那么这些数据怎么保存呢,人家点一下保存一下?显然不合适,肯定是需要批量保存,提高效率。

问题窥探

首先,我想到的是Dictionary,对于C#中的Dictionary类相信大家都不陌生,这是一个Collection(集合)类型,可以通过Key/Value(键值对的形式来存放数据;该类最大的优点就是它查找元素的时间复杂度接近O(1),实际项目中常被用来做一些数据的本地缓存,提升整体效率。Dictionary是非线程安全的类型,可以实现先添加到内存当中,在批量保存进去数据库。

主要代码实现

1、定义一个Dictionary。

private readonly Dictionary<string, Tuple<ObjectInfo, object>> _storage = new Dictionary<string, Tuple<ObjectInfo, object>>(StringComparer.OrdinalIgnoreCase);

2、添加元素,操作的时候需要对其进行线程安全处理,最简单的方式就是加锁(lock)。

public bool SaveObject<T>(string path, T value) where T : class {
      if (String.IsNullOrWhiteSpace(path))
        throw new ArgumentNullException("path");

      lock (_lock) {
        _storage[path] = Tuple.Create(new ObjectInfo {
          Created = DateTime.Now,
          Modified = DateTime.Now,
          Path = path
        }, (object)value);

        if (_storage.Count > MaxObjects)
          _storage.Remove(_storage.OrderByDescending(kvp => kvp.Value.Item1.Created).First().Key);
      }

      return true;
    }

3、定义一个队列,定时消费日志。

public DefaultEventQueue(ExceptionlessConfiguration config, IExceptionlessLog log, ISubmissionClient client, IObjectStorage objectStorage, IJsonSerializer serializer, TimeSpan? processQueueInterval, TimeSpan? queueStartDelay) {
      _log = log;
      _config = config;
      _client = client;
      _storage = objectStorage;
      _serializer = serializer;
      if (processQueueInterval.HasValue)
        _processQueueInterval = processQueueInterval.Value;

      _queueTimer = new Timer(OnProcessQueue, null, queueStartDelay ?? TimeSpan.FromSeconds(2), _processQueueInterval);
    }

这里删除的时候也需要lock 操作。

public bool DeleteObject(string path) {
      if (String.IsNullOrWhiteSpace(path))
        throw new ArgumentNullException("path");

      lock (_lock) {
        if (!_storage.ContainsKey(path))
          return false;

        _storage.Remove(path);
      }

      return true;
    }
public IEnumerable<ObjectInfo> GetObjectList(string searchPattern = null, int? limit = null, DateTime? maxCreatedDate = null) {
      if (searchPattern == null)
        searchPattern = "*";
      if (!maxCreatedDate.HasValue)
        maxCreatedDate = DateTime.MaxValue;

      var regex = new Regex("^" + Regex.Escape(searchPattern).Replace("\\*", ".*?") + "$");
      lock (_lock)
        return _storage.Keys.Where(k => regex.IsMatch(k)).Select(k => _storage[k].Item1).Where(f => f.Created <= maxCreatedDate).Take(limit ?? Int32.MaxValue).ToList();
    }

总结

1、利用Dictionary。多线程添加数据到内存;

2、达到一定量的时候,批量保存数据。

3、使用lock ,保证Dictionary操作安全。

以上就是c# 用Dictionary实现日志数据批量插入的详细内容,更多关于Dictionary实现日志数据批量插入的资料请关注脚本之家其它相关文章!

相关文章

  • C#中Invoke的用法讲解

    C#中Invoke的用法讲解

    这篇文章主要介绍了C#中Invoke的用法讲解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下
    2021-07-07
  • C#创建Windows服务与服务的安装、卸载

    C#创建Windows服务与服务的安装、卸载

    这篇文章介绍了C#创建Windows服务与服务的安装、卸载,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-02-02
  • 详解C# WinForm如何实现自动更新程序

    详解C# WinForm如何实现自动更新程序

    在C/S这种模式中,自动更新程序就显得尤为重要,它不像B/S模式,直接发布到服务器上,浏览器点个刷新就可以了。本文就为大家准备了WinForm实现自动更新程序的示例代码,需要的可以参考一下
    2022-10-10
  • C#实现注册码的方法

    C#实现注册码的方法

    这篇文章主要介绍了C#实现注册码的方法,可实现C#生成软件注册码的相关功能,涉及C#硬件操作及随机数操作的相关技巧,非常具有实用价值,需要的朋友可以参考下
    2015-08-08
  • C# 将 Stream 保存到文件的方法

    C# 将 Stream 保存到文件的方法

    这篇文章主要介绍了C#将 Stream保存到文件的方法,文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的朋友可以参考一下
    2022-08-08
  • C# 实现TXT文档转Table的示例代码

    C# 实现TXT文档转Table的示例代码

    这篇文章主要介绍了C# 实现TXT文档转Table的示例代码,帮助大家更好的理解和学习c#,感兴趣的朋友可以了解下
    2020-12-12
  • 深入浅出掌握Unity ShaderLab语法基础

    深入浅出掌握Unity ShaderLab语法基础

    Unity中所有Shader文件都通过一种陈述性语言进行描述,称为“ShaderLab”, 这篇文章主要介绍了Unity图形学之ShaderLab入门基础,需要的朋友可以参考下
    2023-05-05
  • Unity 制作一个分数统计系统

    Unity 制作一个分数统计系统

    项目中经常遇到分数统计的需求,例如操作正确则计分,相反则不计分失去该项分数,为了应对需求需要一个分数统计系统。本文主要介绍了通过Unity实现这样的一个计分系统,快来跟随小编一起学习吧
    2021-12-12
  • Unity3D在Preview中打印日志的方法

    Unity3D在Preview中打印日志的方法

    这篇文章主要为大家详细介绍了Unity3D在Preview中打印日志的方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-09-09
  • Unity实现新手引导镂空效果

    Unity实现新手引导镂空效果

    这篇文章主要为大家详细介绍了Unity实现新手引导的镂空效果,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-02-02

最新评论