详解Spring Batch 轻量级批处理框架实践

 更新时间:2019年06月27日 14:53:43   作者:Anoy  
这篇文章主要介绍了详解Spring Batch 轻量级批处理框架实践,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

实践内容

从 MariaDB 一张表内读 10 万条记录,经处理后写到 MongoDB 。

具体实现

1、新建 Spring Boot 应用,依赖如下:

    <!-- Web 应用 -->
    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-web</artifactId>
      <exclusions>
        <exclusion>
          <groupId>org.springframework.boot</groupId>
          <artifactId>spring-boot-starter-logging</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.springframework.boot</groupId>
          <artifactId>spring-boot-starter-tomcat</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <!-- Web 容器 undertow -->
    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-undertow</artifactId>
    </dependency>

    <!-- 日志 Log4j2 -->
    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-log4j2</artifactId>
    </dependency>

    <!-- MongoDB -->
    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-data-mongodb</artifactId>
    </dependency>

    <!-- Brantch -->
    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-batch</artifactId>
    </dependency>

    <!-- Mariadb 驱动 -->
    <dependency>
      <groupId>org.mariadb.jdbc</groupId>
      <artifactId>mariadb-java-client</artifactId>
      <version>2.0.2</version>
    </dependency>

    <!-- Lombok 代码简化 -->
    <dependency>
      <groupId>org.projectlombok</groupId>
      <artifactId>lombok</artifactId>
      <version>1.16.14</version>
    </dependency>

2、创建一张表,并生成 10 万条数据

DROP TABLE people IF EXISTS;

CREATE TABLE people (
  id BIGINT IDENTITY NOT NULL PRIMARY KEY,
  first_name VARCHAR(20),
  last_name VARCHAR(20)
);

3、创建 Person 类

@Data
public class Person {
  private Long id;
  private String lastName;
  private String firstName;
}

4、创建一个中间处理器 PersonItemProcessor

import org.springframework.batch.item.ItemProcessor;

@Log4j2
public class PersonItemProcessor implements ItemProcessor<Person, Person> {

  @Override
  public Person process(final Person person) throws Exception {
    final String firstName = person.getFirstName().toUpperCase();
    final String lastName = person.getLastName().toUpperCase();

    final Person transformedPerson = new Person(firstName, lastName);

    log.info("Converting (" + person + ") into (" + transformedPerson + ")");

    return transformedPerson;
  }

}

5、创建 PersonMapper,用户数据库映射

public class PersonMapper implements RowMapper {

  private static final String ID_COLUMN = "id";
  private static final String NICKNAME_COLUMN = "first_name";
  private static final String EMAIL_COLUMN = "last_name";


  @Override
  public Object mapRow(ResultSet resultSet, int i) throws SQLException {
    Person user = new Person();
    person.setId(resultSet.getLong(ID_COLUMN));
    person.setNickname(resultSet.getString(NICKNAME_COLUMN));
    person.setEmail(resultSet.getString(EMAIL_COLUMN));
    return person;
  }
}

6、创建任务完成的监听 JobCompletionNotificationListener

@Log4j2
@Component
public class JobCompletionNotificationListener extends JobExecutionListenerSupport {

  @Override
  public void afterJob(JobExecution jobExecution) {
    if(jobExecution.getStatus() == BatchStatus.COMPLETED) {
      log.info("!!! JOB FINISHED! Time to verify the results");
    }
  }
}

7、构建批处理任务 BatchConfiguration

@Configuration
@EnableBatchProcessing
public class BatchConfiguration {

  @Autowired
  public JobBuilderFactory jobBuilderFactory;

  @Autowired
  public StepBuilderFactory stepBuilderFactory;

  @Autowired
  public DataSource dataSource;
  
  @Autowired
  public MongoTemplate mongoTemplate;

  @Bean
  public JdbcCursorItemReader<Person> reader(){
    JdbcCursorItemReader<Person> itemReader = new JdbcCursorItemReader<Person>();
    itemReader.setDataSource(dataSource);
    itemReader.setSql("select id, nickname, email from people");
    itemReader.setRowMapper(new PersonMapper());
    return itemReader;
  }

  @Bean
  public PersonItemProcessor processor() {
    return new PersonItemProcessor();
  }
  
  @Bean
  MongoItemWriter<Person> writer(){
    MongoItemWriter<Person> itemWriter = new MongoItemWriter<Person>();
    itemWriter.setTemplate(mongoTemplate);
    itemWriter.setCollection("branch");
    return itemWriter;
  }

  @Bean
  public Step step() {
    return stepBuilderFactory.get("step")
        .<Person, Person> chunk(10)
        .reader(reader())
        .processor(processor())
        .writer(writer())
        .build();
  }

  @Bean
  public Job importUserJob(JobCompletionNotificationListener listener) {
    return jobBuilderFactory.get("importUserJob")
        .incrementer(new RunIdIncrementer())
        .listener(listener)
        .flow(step())
        .end()
        .build();
  }

}

任务处理结果

0出错,耗时 2 分钟左右,测试机 Mac

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • Java将json字符串转换为数组的几种方法

    Java将json字符串转换为数组的几种方法

    在Java开发中,经常会遇到将json字符串转换为数组的需求,本文主要介绍了Java将json字符串转换为数组的几种方法,具有一定的参考价值,感兴趣的可以了解一下
    2024-01-01
  • SpringBoot配置@Configuration注解和@bean注解

    SpringBoot配置@Configuration注解和@bean注解

    这篇文章主要介绍了SpringBoot配置@Configuration注解和@bean注解,文章围绕主题相关内容展开详细介绍,具有一定的参考价值,需要的小伙伴可以参考一下
    2022-04-04
  • Java多线程 两阶段终止模式Two-Phase Termination Patter

    Java多线程 两阶段终止模式Two-Phase Termination Patter

    这篇文章主要介绍了Java多线程 两阶段终止模式Two-Phase Termination Patter,该模式有两个角色,分别是Terminator,终止者,负责接收终止请求,执行终止处理,处理完成后再终止自己。TerminationRequester终止请求发出者,用来向Terminator发出终止请求,需要的朋友可以参考一下
    2021-10-10
  • 支付宝APP支付(IOS手机端+java后台)版

    支付宝APP支付(IOS手机端+java后台)版

    这篇文章主要为大家详细介绍了支付宝APP支付(IOS手机端+java后台)版,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-05-05
  • SpringBoot中jar启动下如何读取文件路径

    SpringBoot中jar启动下如何读取文件路径

    这篇文章主要介绍了SpringBoot jar启动下如何读取文件路径,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-06-06
  • springBoot中的CORS跨域注解@CrossOrigin详解

    springBoot中的CORS跨域注解@CrossOrigin详解

    这篇文章主要介绍了springBoot中的CORS跨域注解@CrossOrigin详解,通常,服务于 JS 的主机(例如 example.com)与服务于数据的主机(例如 api.example.com)是不同的,在这种情况下,CORS 可以实现跨域通信,需要的朋友可以参考下
    2023-12-12
  • IDEA常用插件之代码扫描SonarLint详解

    IDEA常用插件之代码扫描SonarLint详解

    SonarLint是一款用于代码扫描的插件,可以帮助查找隐藏的bug,下载并安装插件后,右键点击项目并选择“Analyze”、“AnalyzewithSonarLint”,扫描完成后可以在下方查看报告
    2025-01-01
  • Java编程使用UDP建立群聊系统代码实例

    Java编程使用UDP建立群聊系统代码实例

    这篇文章主要介绍了Java编程使用UDP建立群聊系统代码实例,具有一定借鉴价值,需要的朋友可以参考下。
    2018-01-01
  • SpringBoot接入钉钉自定义机器人预警通知

    SpringBoot接入钉钉自定义机器人预警通知

    本文主要介绍了SpringBoot接入钉钉自定义机器人预警通知,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-07-07
  • Java通用Mapper UUID简单示例

    Java通用Mapper UUID简单示例

    今天小编就为大家分享一篇关于Java通用Mapper UUID简单示例,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2018-12-12

最新评论