Java分批将List数据导入数据库的解决过程

// 获取到要插入数据库的集合，数据量很大
List<User> list = new ArrayList<>();
// 插入数据到MySQL中
userService.saveBatch(list);

@Service
public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements IUserService {
	@Autowired
	private UserMapper userMapper;
	@Override
	public void insert() {
    	// 通过一系列操作获取到要插入的集合，在此使用list代替
    	List<User> list = new ArrayList<>();
    	// 每次插入的数量
    	int batchSize = 1000;
    	// 计算需要分多少批插入数据库
    	int batch = list.size() / batchSize;
    	// 计算最后一批的大小
    	int lastSize = list.size() % batchSize;
    	// 将筛选出的结果分批次添加到表中
    	for (int i = batchSize; i <= batch * batchSize; i = i + batchSize) {
        	// 截取本次要添加的数据
        	List<User> insertList = list.subList(i - batchSize, i);
        	// 添加本批次数据到数据库中
        	userMapper.batchInsert(insertList);
    	}
    	// 最后一批元素的大小是否为0
    	if (lastSize != 0) {
        	// 如果元素有剩余则将所有元素作为一个子列表一次性插入
        	List<User> lastList = list.subList(batchSize * batch, list.size());
        	// 添加集合到数据库中
        	userMapper.batchInsert(lastList);
    	}
	}
}

/**
 * 用户数据持久化接口
 *
 * @author Dream_飞翔
 * @since 2023/5/16
 */
public interface UserMapper extends BaseMapper<User> {
	/**
     * 添加指定集合内的数据到数据库中
     *
     * @param insertList 要添加的内容
     * @return 受影响的行数
     */
    Integer batchInsert(@Param("insertList") List<User> insertList);
}

<?xml version="1.0" encoding="utf-8" ?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-mapper.dtd" >
<mapper namespace="com.zrkizzy.data.mapper.UserMapper">
	<!-- 批量添加数据到数据库中 -->
	<insert id="batchInsert">
        INSERT INTO tb_user (id, username, password)
        VALUES
        <foreach collection ="userList" item="user" separator =",">
            (#{user.id}, #{user.username}, #{user.password})
        </foreach>
    </insert>
</mapper>

@Service
public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements IUserService {
	@Autowired
	private UserMapper userMapper;
	@Override
	public void insert() {
    	// 通过一系列操作获取到要插入的集合，在此使用list代替
    	List<User> list = new ArrayList<>();
        // 获取虚拟机可用的最大处理器数量
        int availableProcessors = Runtime.getRuntime().availableProcessors();
        // 获取要添加的数据集合大小
        int total = list.size();
        // 每次插入的数量
        int batchSize = 1000;
        // 计算需要分多少批插入数据库（向上取整）
        int totalBatch = (total + batchSize - 1) / batchSize;
        // 手动创建线程池
        ExecutorService executor = new ThreadPoolExecutor(
                // 线程池核心线程数量
                availableProcessors,
                // 线程池最大数量
                availableProcessors + 1000,
                // 空闲线程存活时间
                1000,
                // 时间单位
                TimeUnit.MILLISECONDS,
                // 线程池所使用的缓冲队列
                new ArrayBlockingQueue<>(100),
                // 线程池对拒绝任务的处理策略
                new ThreadPoolExecutor.CallerRunsPolicy());
        // 将筛选出的结果分批次添加到表中
        for (int batchIndex = 0; batchIndex < totalBatch; batchIndex++) {
            // 当前插入批次的起始索引
            int startIndex = batchIndex * batchSize;
            // 当前插入批次的结束索引
            int endIndex = Math.min((batchIndex + 1) * batchSize, total);
            // 截取本次要添加的数据
            List<LuckyDrawHistory> insertList = list.subList(startIndex, endIndex);
            // 将每个批次的插入逻辑封装成一个Runnable对象
            Runnable task = () -> {
                // 添加本批次数据到数据库中
                userMapper.batchInsert(insertList);
            };
            // 提交添加任务
            executor.submit(task);
        }
        // 关闭线程池释放资源
        executor.shutdown();
    }
}