详解java解决分布式环境中高并发环境下数据插入重复问题

 更新时间:2019年03月26日 10:36:11   作者:知了知了不知道  
这篇文章主要介绍了java解决并发数据重复问题 ,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

java 解决分布式环境中 高并发环境下数据插入重复问题

前言

原因:服务器同时接受到的重复请求
现象:数据重复插入 / 修改操作

解决方案 : 分布式锁

对请求报文生成 摘要信息 + redis 实现分布式锁

工具类

分布式锁的应用

package com.nursling.web.filter.context;

import com.nursling.nosql.redis.RedisUtil;
import com.nursling.sign.SignType;
import com.nursling.sign.SignUtil;
import redis.clients.jedis.Jedis;

import javax.servlet.ServletRequest;
import javax.servlet.http.HttpServletRequest;
import java.util.HashMap;
import java.util.Map;

/**
 * 并发拦截
 * 高并发下 过滤掉 相同请求的工具
 * @author 杨.
 *
 */
public class ContextLJ {

  private static final Integer JD = 0;

  /**
   * 上锁 使用redis 为分布式项目 加锁
   * @param sign
   * @param tiD
   * @return
   * @throws Exception
   */
  public static boolean lock(String sign, String tiD) {
    synchronized (JD) { // 加锁
      Jedis jedis = RedisUtil.getJedis();
      String uTid = jedis.get(sign);
      if (uTid == null) {
        jedis.set(sign, tiD);
        jedis.expire(sign, 36);
        return true;
      }
      return false;
    }
  }

  /**
   * 锁验证
   * @param sign
   * @param tiD
   * @return
   */
  public static boolean checklock(String sign, String tiD){
    Jedis jedis = RedisUtil.getJedis();
    String uTid = jedis.get(sign);
    return tiD.equals(uTid);
  }

  /**
   * 去掉锁
   * @param sign
   * @param tiD
   */
  public static void clent (String sign, String tiD){
    if (checklock(sign, tiD)) {
      Jedis jedis = RedisUtil.getJedis();
      jedis.del(sign);
    }
  }

  /**
   * 获取摘要
   * @param request
   * @return
   */
  public static String getSign(ServletRequest request){
    // 此工具是将 request中的请求内容 拼装成 key=value&key=value2 的形式 源码在线面
    Map<String, String> map =       SignUtil.getRequstMap((HttpServletRequest) request);
    String sign = null;
    try {
      // 这里使用md5方法生成摘要 SignUtil.getRequstMap 方法源码就不贴了
      sign = SignUtil.buildRequest(map, SignType.MD5);
    } catch (Exception e) {
      e.printStackTrace();
    }
    return sign;
  }
}
public static Map<String, String> getRequstMap(HttpServletRequest req){
    Map<String,String> params = new HashMap<String,String>();
    Map<String, String[]> requestParams = req.getParameterMap();
    for (Iterator<String> iter = requestParams.keySet().iterator(); iter.hasNext();) {
      String name = (String) iter.next();
      String[] values = (String[]) requestParams.get(name);
      String valueStr = "";
      for (int i = 0; i < values.length; i++) {
        valueStr = (i == values.length - 1) ? valueStr + values[i]
            : valueStr + values[i] + ",";
      }
      params.put(name, valueStr);
    }
    return params;
  }

下面是过滤器代码

对分布式锁的利用

package com.nursling.web.filter.transaction;

import com.google.gson.Gson;
import com.nursling.common.RandomUtil;
import com.nursling.dao.util.TransactionUtils;
import com.nursling.model.ApiResult;
import com.nursling.model.ApiRtnCode;
import com.nursling.web.filter.context.ContextLJ;
import org.apache.log4j.Logger;

import javax.servlet.*;
import javax.servlet.http.HttpServletResponse;
import java.io.IOException;

/**
 * 对事物进行控制 并且 避免接口 直接报漏异常信息
 * 并且过滤频繁请求
 * Created by yangchao on 2016/11/4.
 */
public class TransactionFilter implements Filter {

  Logger log = Logger.getLogger(this.getClass());

  @Override
  public void init(FilterConfig filterConfig) throws ServletException {
  }

  @Override
  public void doFilter(ServletRequest request, ServletResponse myResp, FilterChain chain) throws IOException, ServletException {
    String sign = "sign_" + ContextLJ.getSign(request); // 生成摘要
    String tiD = RandomUtil.getRandomString(3) + "_" + Thread.currentThread().getId(); // 当前线程的身份
    try { 
      if (!ContextLJ.lock(sign, tiD)) {
        log.warn("放弃相同 并发请求" + sign);
        frequentlyError(myResp);
        return;
      }
      if (!ContextLJ.checklock(sign, tiD)) {
        log.warn("加锁验证失败 " + sign + " " + tiD);
        frequentlyError(myResp);
        return;
      }
      chain.doFilter(request, myResp); // 放行
    } catch (Exception e) { // 捕获到异常 进行异常过滤
      log.error("", e);
      retrunErrorInfo(myResp);
    } finally {
      ContextLJ.clent(sign, tiD);
    }
  }

  /**
   * 频繁请求
   * @param myResp
   */
  private void frequentlyError(ServletResponse myResp) throws IOException {
    ApiResult<Object> re = new ApiResult<>();
    ((HttpServletResponse) myResp).setHeader("Content-type", "text/html;charset=UTF-8");
    re.setMsg("稍安勿躁,不要频繁请求");
    re.setCode(ApiRtnCode.API_VERIFY_FAIL);
    myResp.getWriter().write(new Gson().toJson(re));
  }

  /**
   * 返回异常信息 
   * @param myResp
   */
  private void retrunErrorInfo(ServletResponse myResp) throws IOException {
    ApiResult<Object> re = new ApiResult<>();
    re.setMsg("server error");
    // 这里不必理会
    re.setCode(ApiRtnCode.SERVICE_ERROR);
    myResp.getWriter().write(new Gson().toJson(re));
  }

  @Override
  public void destroy() {

  }
}

程序本身应该还有需要完善的地方, 不过经过一段时间的测试。 这个解决方案还是比较可靠的 并发测试 + 生产环境上 也没有再出现 重复请求的问题

非极端情况下 还是很可靠的

以上所述是小编给大家介绍的java解决分布式环境中高并发环境下数据插入重复问题详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

相关文章

  • Java字符串替换的三种方法实际应用

    Java字符串替换的三种方法实际应用

    这篇文章主要给大家介绍了关于Java字符串替换的三种方法,replace和replaceAll是JAVA中常用的替换字符的方法,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2023-11-11
  • springboot RESTful以及参数注解的使用方式

    springboot RESTful以及参数注解的使用方式

    这篇文章主要介绍了springboot RESTful以及参数注解的使用方式,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-10-10
  • java中Scanner类的简单用法分享

    java中Scanner类的简单用法分享

    这篇文章主要介绍了java中Scanner类的简单用法,有需要的朋友可以参考一下
    2014-01-01
  • java8中:: 用法示例(JDK8双冒号用法)

    java8中:: 用法示例(JDK8双冒号用法)

    这篇文章主要给大家介绍了关于java8 中的:: 用法(JDK8双冒号用法)的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用java8具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-09-09
  • SpringBoot项目启动后再请求远程接口的解决方式

    SpringBoot项目启动后再请求远程接口的解决方式

    Spring Boot是由Pivotal团队提供的全新框架,其设计目的是用来简化Spring应用的创建、运行、调试、部署等,这篇文章主要介绍了SpringBoot项目启动后再请求远程接口的实现方式 ,需要的朋友可以参考下
    2023-02-02
  • java自动生成编号的实现(格式:yyMM+四位流水号)

    java自动生成编号的实现(格式:yyMM+四位流水号)

    这篇文章主要介绍了java自动生成编号的实现(格式:yyMM+四位流水号),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-10-10
  • 基于java时区转换夏令时的问题及解决方法

    基于java时区转换夏令时的问题及解决方法

    下面小编就为大家分享一篇基于java时区转换夏令时的问题及解决方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2017-11-11
  • java实现学生教师管理系统

    java实现学生教师管理系统

    这篇文章主要为大家详细介绍了java实现学生教师管理系统,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-10-10
  • 详解Spring中Lookup注解的使用

    详解Spring中Lookup注解的使用

    我们知道在spring容器中单独的一个抽象类是不能成为一个bean的,那么有没有办法呢?这个时候我们可以使用Lookup注解,下面跟随小编看下Spring中Lookup注解的使用
    2021-10-10
  • Java设计模式之状态模式State Pattern详解

    Java设计模式之状态模式State Pattern详解

    这篇文章主要介绍了Java设计模式之状态模式State Pattern,状态模式允许一个对象在其内部状态改变的时候改变其行为。这个对象看上去就像是改变了它的类一样
    2022-11-11

最新评论