Sharding-Proxy分库分表和数据加密使用场景分析

 更新时间:2022年04月13日 09:34:01   作者:坚持是一种态度  
这篇文章主要介绍了Sharding-Proxy分库分表和数据加密使用经验分享,通过场景模拟分析结合示例代码给大家介绍的非常详细,需要的朋友可以参考下

Sharding-Proxy分库分表和数据加密

主要将实际项目中使用shardingshpere-proxy的经历经验,总结分享一下。

使用场景

  • 公司规划研发了两款针对政务新媒体和数字乡村的SaaS平台,作为新的利润增长点。考虑到以后的用户数量和数据数量,决定按照租户(签约客户)进行分库分表。对于一些敏感数据,例如身份证号、手机号等,使用数据库级别的加密解密,不存储明文数据。
  • 考察了网上已有的一些数据库中间件和分库分表解决方案,公司决定使用Sharding-Proxy作为分库分表和数据加密的数据库中间件。主要原因是,它对代码的侵入性很小,开发人员也不需要关注它,减少了学习成本,对DBA也很友好。另一方面,ShardingSphere已进入Apache孵化器,它完全开源免费,社区也很活跃,版本迭代也很快。
  • 本次使用的ShardingSphere-5.0

配置文件讲解

server.yaml

  • resources文件夹,conf文件夹下面
  • 主要有注册中心配置、登录连接配置和基础配置
mode:
  type: Cluster  # 集群
  repository:
    type: ZooKeeper  # 使用zookeeper
    props:
      namespace: governance_ds  
      server-lists: 192.168.1.100:2181
      retryIntervalMilliseconds: 50000
      timeToLiveSeconds: 60
      maxRetries: 3
      operationTimeoutMilliseconds: 50000
  overwrite: true 
  • mode.type: Cluster使用集群配置,单个部署也可以设置为Cluster,没影响
  • mode.repository 配置存储方式,可以选择使用ZooKeeper
  • mode.overwrite,配置加载方式,本地配置是否覆盖配置中心配置。true是可覆盖,以本地为准,将本地配置同步到zookeeper;false则以zookeeper为准
  • 下面还有一些基础配置,是否打印SQL等,暂时可都是要默认

config-sharding.yaml

  • resources文件夹,conf文件夹下面
  • schemaName 数据库连接,数据库名称
  • dataSources 数据源
  • rules 规则
  • !SHARDING 分库分表规则
  • tables 表
  • actualDataNodes 实际对于库表
  • databaseStrategy 分库策略 none 不分库分表
  • defaultDatabaseStrategy 默认分库策略
  • defaultTableStrategy 默认分表策略
  • defaultKeyGenerateStrategy 默认主键策略
  • shardingAlgorithms 自定义分片算法
  • keyGenerators 主键生成策略

config-encrypt.yaml

  • resources文件夹,conf文件夹下面
  • schemaName 数据库连接,数据库名称
  • dataSources 数据源
  • rules 规则
  • !ENCRYPT 数据加密
  • encryptors 加密策略,可选择AES或MD5,在下面具体字段可选则加密策略
  • aes_encryptor,aes可以配置加盐
  • tables 表
  • columns 字段s
  • id_number 逻辑字段
  • plainColumn 原字段
  • cipherColumn 加密字段
  • encryptorName 加密策略
  • queryWithCipherColumn 查询时是否使用加密字段

其他

  • 可以下载源码或者下载程序看看,里面的功能,都有配置文件案例,是注释掉的,一款PostgreSQL的,一款MySQL的
  • 目前就使用这2个功能,其他功能暂时没研究,就不多说了
  • 实际使用时,分库分表和数据加密是一起使用的,所以只用了一个配置文件,都放在rules下面
  • 后面我会把我的配置文件贴上去

使用情况

  • 政务新媒体SaaS平台暂时只使用分库分表
  • 数字乡村SaaS平台,使用了分库分表和数据加密
  • 分库分表,主要做了基于租户分库,部分表,又根据某些业务字段做了分表
  • 分表策略,默认分8个表写法algorithm-expression: monitor_record_${media_id % 8}
  • 我们基于租户的哈希进行分库,但对于某些租户,又想指定数据库,这就需要自定义分库分表策略
  • 要求分库支持哈希和指定,写了自定义分库策略类,有一个静态map,解析执行SQL时,先从map里获取,获取不到,则根据哈希获取
  • 数据加密,主要是添加加密字段和对历史数据处理
  • 可以写一个静态方法,对已存在数据进行处理

总结

  • sharding-proxy对于按照租户分库分表,以及数据加密,是完全支持的,足够我们使用
  • 使用起来很简单,下载最新稳定版安装即可
  • 如果没有自定义分库分表策略要求,只使用已有的策略,那只需要修改配置文件部署即可
  • 如果需要自定义分库分表策略,也不复杂,写好类打包好,放入ext-lib下即可
  • 配置文件部分示例
schemaName: digital_village
dataSources:
  ds:
    url: jdbc:postgresql://192.168.1.xxx:5432/digital_village?currentSchema=public&serverTimezone=UTC&useSSL=false
    username: postgres
    password: xxxxxx
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 120
    minPoolSize: 1
  ds_0:
    url: jdbc:postgresql://192.168.1.xxx:5432/digital_village_0?currentSchema=public&serverTimezone=UTC&useSSL=false
  ds_1:
    url: jdbc:postgresql://192.168.1.xxx:5432/digital_village_1?currentSchema=public&serverTimezone=UTC&useSSL=false
    password: xxxxx
rules:
  - !SHARDING
    tables:
      # 需要分库的表,根据租户id分库
      cms_basic_info:
        actualDataNodes: ds_${0..3}.cms_basic_info
      cms_column:
        actualDataNodes: ds_${0..3}.cms_column
      cms_content:
        actualDataNodes: ds_${0..3}.cms_content
      cms_content_text:
        actualDataNodes: ds_${0..3}.cms_content_text
      cms_menu_column_bind:
        actualDataNodes: ds_${0..3}.cms_menu_column_bind
      cms_message_board:
        actualDataNodes: ds_${0..3}.cms_message_board
      # 不需要分库分表的表,全部存储在 ds 数据源
      auth_cfg_catalog_data_permission:
        actualDataNodes: ds.auth_cfg_catalog_data_permission
        databaseStrategy: 
          none:
      auth_cfg_column_data_permission:
        actualDataNodes: ds.auth_cfg_column_data_permission
        databaseStrategy:
      
    # 默认分库策略
    defaultDatabaseStrategy:
      standard:
        shardingColumn: customer_id  #分库字段
        shardingAlgorithmName:  customer_id_inline #分库规则:
    defaultTableStrategy:
      none:
    # 默认主键策略
    defaultKeyGenerateStrategy:
      column: id
      keyGeneratorName: snowflake
    # 自定义分片算法
    shardingAlgorithms:
      customer_id_inline:
        type: CLASS_BASED
        props:
          strategy: standard
          algorithmClassName: cn.lonsun.dv.DigitalVillageShardingAlgorithm
    # 主键生成策略
    keyGenerators:
      snowflake:
        type: SNOWFLAKE
          worker-id: 123
  - !ENCRYPT
    encryptors:
      aes_encryptor:
        type: AES
          aes-key-value: xxxwwaS213123SAD
      md5_encryptor:
        type: MD5
      party_position:
        columns:
          mobile:
            plainColumn: mobile
            cipherColumn: mobile_cipher
            encryptorName: aes_encryptor
      village_population:
          id_number:
            plainColumn: id_number
            cipherColumn: id_number_cipher
    queryWithCipherColumn: true

到此这篇关于Sharding-Proxy分库分表和数据加密的文章就介绍到这了,更多相关Sharding-Proxy分库分表内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Java使用非覆盖的方法实现替换PDF中的文本

    Java使用非覆盖的方法实现替换PDF中的文本

    这篇文章主要为大家详细介绍了Java如何使用非覆盖的方法实现替换PDF中的文本,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
    2024-02-02
  • Ubuntu安装JDK与IntelliJ IDEA的详细过程

    Ubuntu安装JDK与IntelliJ IDEA的详细过程

    APT是Linux系统上的包管理工具,能自动解决软件包依赖关系并从远程存储库中获取安装软件包,这篇文章主要介绍了Ubuntu安装JDK与IntelliJ IDEA的过程,需要的朋友可以参考下
    2023-08-08
  • Springboot基础之RedisUtils工具类

    Springboot基础之RedisUtils工具类

    本文来说下RedisUtils工具类,主要介绍了整合Redis、MyBatis,封装RedisUtils工具类等知识,文中有非常详细的代码示例,对正在学习java的小伙伴们有很好的帮助,需要的朋友可以参考下
    2021-05-05
  • java 字符串的拼接的实现实例

    java 字符串的拼接的实现实例

    这篇文章主要介绍了java 字符串的拼接的实现实例的相关资料,希望通过本文大家能掌握字符拼接的实现,需要的朋友可以参考下
    2017-09-09
  • SpringCloud Ribbon负载均衡代码实例

    SpringCloud Ribbon负载均衡代码实例

    这篇文章主要介绍了SpringCloud Ribbon负载均衡代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-03-03
  • Java 判断实体对象及所有属性是否为空的操作

    Java 判断实体对象及所有属性是否为空的操作

    这篇文章主要介绍了Java 判断实体对象及所有属性是否为空的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12
  • 详解使用spring boot admin监控spring cloud应用程序

    详解使用spring boot admin监控spring cloud应用程序

    本篇文章主要介绍了详解使用spring boot admin监控spring cloud应用程序,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-11-11
  • java数据结构基础:线性表

    java数据结构基础:线性表

    这篇文章主要介绍了Java的数据解构基础,希望对广大的程序爱好者有所帮助,同时祝大家有一个好成绩,需要的朋友可以参考下,希望能给你带来帮助
    2021-07-07
  • SpringBoot通过自定义注解与异步来管理日志流程

    SpringBoot通过自定义注解与异步来管理日志流程

    实现日志管理说实话方式还挺多,个人使用过直接在Controller代码里面写、AOP+自定义注解、ConstraintValidator。本文主要和大家讲的是自定义注解与异步来管理日志流程,感兴趣的可以了解一下
    2023-03-03
  • Mybatis如何通过注解开启使用二级缓存

    Mybatis如何通过注解开启使用二级缓存

    这篇文章主要介绍了Mybatis基于注解开启使用二级缓存,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-11-11

最新评论