Java多线程处理List问题

 更新时间:2023年09月21日 16:25:44   作者:JonTang  
这篇文章主要介绍了Java多线程处理List问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

Java多线程处理List

项目场景

调用第三方提供的接口去获取 List 中用户的组信息。

问题描述

需要拿用户的 id 去调用第三方接口,成功调用一次需要 0.3s 左右,当有 1000 个用户时,就需要花费 0.3 * 1000s = 5min,页面就会一直加载那么久。

之前是通过 for 循环 list 去调用接口的,

代码如下:

// 当 list 长度为 1000时,则需要循环 1000次
for(User user : list) {
    loadUserGroups(user);
}

解决方案

通过多线程的方式去处理,话不多说直接上代码:

// 定义一个线程池
private static final ExecutorService loadUserGroupsExecutor = Executors.newFixedThreadPool(20);
public Map<String, List<UserGroup>> loadAllUserGroups() {
        Map<String, List<UserGroup>> userGroups = new ConcurrentHashMap<>();
        List<User> users = listUsers();
        int size = users.size();       
        long startTime = System.currentTimeMillis();        
        if (size > 200) {            
            List<List<User>> partition = Lists.partition(users, 200);            
            List<CompletableFuture> results = new ArrayList<>();            
            for (List<User> subList : partition) {                
                CompletableFuture<String> future = CompletableFuture.supplyAsync(() -> {                    
                loadUserGroups(userGroups, subList);                    
                return "";                
                }, loadUserGroupsExecutor);                
            	    results.add(future);            
                }            
            CompletableFuture.allOf(results.toArray(results.toArray(new CompletableFuture[partition.size()]))).join();        
        } else {            
        	loadUserGroups(userGroups, users);        
        }
    	log.info("loadAllUserGroups cost {}", System.currentTimeMillis() - startTime);        
     return userGroups;
}

Java多线程分段处理List集合

场景:

大数据List集合,需要对List集合中的数据同标准库中数据进行对比,生成新增,更新,取消数据 

解决方案

  • List集合分段
  • 动态创建线程池newFixedThreadPool
  • 将对比操作在多线程中实现
public static void main(String[] args) throws Exception {
    // 开始时间
    long start = System.currentTimeMillis();
    List<String> list = new ArrayList<String>();
    for (int i = 1; i <= 3000; i++) {
        list.add(i + "");
    }
    /*动态线程数方式*/
    // 每500条数据开启一条线程
    int threadSize = 500;
    // 总数据条数
    int dataSize = list.size();
    // 线程数,动态生成
    int threadNum = dataSize / threadSize + 1;
    /*固定线程数方式
        // 线程数
        int threadNum = 6;
        // 总数据条数
        int dataSize = list.size();
        // 每一条线程处理多少条数据
        int threadSize = dataSize / (threadNum - 1);
    */
    // 定义标记,过滤threadNum为整数
    boolean special = dataSize % threadSize == 0;
    // 创建一个线程池
    ExecutorService exec = Executors.newFixedThreadPool(threadNum);
    // 定义一个任务集合
    List<Callable<Integer>> tasks = new ArrayList<Callable<Integer>>();
    Callable<Integer> task = null;
    List<String> cutList = null;
    // 确定每条线程的数据
    for (int i = 0; i < threadNum; i++) {
        if (i == threadNum - 1) {
            if (special) {
                break;
            }
            cutList = list.subList(threadSize * i, dataSize);
        } else {
            cutList = list.subList(threadSize * i, threadSize * (i + 1));
        }
        final List<String> listStr = cutList;
        task = new Callable<Integer>() {
            @Override
            public Integer call() throws Exception {
                //业务逻辑,循环处理分段后的list
                System.out.println(Thread.currentThread().getName() + "线程:" + listStr);
                //......
                return 1;
            }
        };
        // 这里提交的任务容器列表和返回的Future列表存在顺序对应的关系
        tasks.add(task);
    }
    exec.invokeAll(tasks);
    // 关闭线程池
    exec.shutdown();
    System.out.println("线程任务执行结束");
    System.out.println("执行任务消耗了 :" + (System.currentTimeMillis() - start) + "毫秒");
}

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Spring Cloud Alibaba使用Sentinel实现接口限流

    Spring Cloud Alibaba使用Sentinel实现接口限流

    这篇文章主要介绍了Spring Cloud Alibaba使用Sentinel实现接口限流,本文详细的介绍了Sentinel组件的用法以及接口限流,感兴趣的可以了解一下
    2019-04-04
  • Flink ExecutionGraph生成源码解析

    Flink ExecutionGraph生成源码解析

    这篇文章主要为大家介绍了Flink ExecutionGraph生成源码解析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-12-12
  • Java中BigInteger用法小结

    Java中BigInteger用法小结

    这篇文章主要介绍了Java中BigInteger用法的详解,在这里,我们详细描述下BigInteger的用法,在使用之前,我们需要导入java.math.*包,本文通过实例代码相结合给大家详细讲解,需要的朋友可以参考下
    2023-03-03
  • SpringBoot利用Validation包实现高效参数校验

    SpringBoot利用Validation包实现高效参数校验

    如果不进行校验就直接使用这些数据,可能会导致各种问题,那么SpringBoot如何利用Validation包实现高效参数校验呢,下面让我们一起来探讨这个重要的话题吧
    2025-04-04
  • Java利用AQS实现自定义锁

    Java利用AQS实现自定义锁

    本文主要介绍了Java利用AQS实现自定义锁,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-07-07
  • Java中的 HTTP 协议原理详解

    Java中的 HTTP 协议原理详解

    这篇文章主要介绍了Java中的 HTTP 协议原理详解,HTTP超文本传输协议,下文简称 HTTP,它的作用是用于实现服务器端和客户端的数据传输的
    2022-07-07
  • Springboot启动原理和自动配置原理解析

    Springboot启动原理和自动配置原理解析

    这篇文章主要介绍了Springboot启动原理和自动配置原理解析,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-04-04
  • springboot全局异常处理方式@ControllerAdvice和@ExceptionHandler

    springboot全局异常处理方式@ControllerAdvice和@ExceptionHandler

    文章总结了个人在处理全局异常处理时的经验,包括使用`StatusEnum`来定义状态码,旨在为读者提供参考,并鼓励大家支持脚本之家
    2024-11-11
  • 腾讯云部署javaWeb项目的实现步骤

    腾讯云部署javaWeb项目的实现步骤

    本文主要介绍了腾讯云部署javaWeb项目的实现步骤,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-08-08
  • Java zookeeper服务的使用详解

    Java zookeeper服务的使用详解

    ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等
    2022-08-08

最新评论