springbatch的封装与使用实例详解

 更新时间:2019年04月17日 14:34:07   作者:张占岭  
主要实现批量数据的处理,我对batch进行的封装,提出了jobBase类型,具体job需要实现它即可。这篇文章主要介绍了springbatch的封装与使用 ,需要的朋友可以参考下

Spring Batch官网介绍:

A lightweight, comprehensive batch framework designed to enable the development of robust batch applications vital for the daily operations of enterprise systems.(一款轻量的、全面的批处理框架,用于开发强大的日常运营的企业级批处理应用程序。)

springbatch

主要实现批量数据的处理,我对batch进行的封装,提出了jobBase类型,具体job需要实现它即可。Spring Batch 不仅提供了统一的读写接口、丰富的任务处理方式、灵活的事务管理及并发处理,同时还支持日志、监控、任务重启与跳过等特性,大大简化了批处理应用开发,将开发人员从复杂的任务配置管理过程中解放出来,使他们可以更多地去关注核心的业务处理过程。

几个组件

•job
•step
•read
•write
•listener
•process
•validator

JobBase定义了几个公用的方法

 /**
 * springBatch的job基础类.
 */
 public abstract class JobBase<T> {
  /**
  * 批次.
  */
  protected int chunkCount = 5000;
  /**
  * 监听器.
  */
  private JobExecutionListener jobExecutionListener;
  /**
  * 处理器.
  */
  private ValidatingItemProcessor<T> validatingItemProcessor;
  /**
  * job名称.
  */
  private String jobName;
  /**
  * 检验器.
  */
  private Validator<T> validator;
  @Autowired
  private JobBuilderFactory job;
  @Autowired
  private StepBuilderFactory step;
  /**
  * 初始化.
  *
  * @param jobName         job名称
  * @param jobExecutionListener  监听器
  * @param validatingItemProcessor 处理器
  * @param validator        检验
  */
  public JobBase(String jobName,
         JobExecutionListener jobExecutionListener,
         ValidatingItemProcessor<T> validatingItemProcessor,
         Validator<T> validator) {
   this.jobName = jobName;
   this.jobExecutionListener = jobExecutionListener;
   this.validatingItemProcessor = validatingItemProcessor;
   this.validator = validator;
  }
  /**
  * job初始化与启动.
  */
  public Job getJob() throws Exception {
   return job.get(jobName).incrementer(new RunIdIncrementer())
     .start(syncStep())
     .listener(jobExecutionListener)
     .build();
  }
  /**
  * 执行步骤.
  *
  * @return
  */
  public Step syncStep() throws Exception {
   return step.get("step1")
     .<T, T>chunk(chunkCount)
     .reader(reader())
     .processor(processor())
     .writer(writer())
     .build();
  }
  /**
  * 单条处理数据.
  *
  * @return
  */
  public ItemProcessor<T, T> processor() {
   validatingItemProcessor.setValidator(processorValidator());
   return validatingItemProcessor;
  }
  /**
  * 校验数据.
  *
  * @return
  */
  @Bean
  public Validator<T> processorValidator() {
   return validator;
  }
  /**
  * 批量读数据.
  *
  * @return
  * @throws Exception
  */
  public abstract ItemReader<T> reader() throws Exception;
  /**
  * 批量写数据.
  *
  * @return
  */
  @Bean
  public abstract ItemWriter<T> writer();
 }

主要规定了公用方法的执行策略,而具体的job名称,读,写还是需要具体JOB去实现的。

具体Job实现

 @Configuration
 @EnableBatchProcessing
 public class SyncPersonJob extends JobBase<Person> {
  @Autowired
  private DataSource dataSource;
  @Autowired
  @Qualifier("primaryJdbcTemplate")
  private JdbcTemplate jdbcTemplate;
  /**
  * 初始化,规则了job名称和监视器.
  */
  public SyncPersonJob() {
   super("personJob", new PersonJobListener(), new PersonItemProcessor(), new BeanValidator<>());
  }
  @Override
  public ItemReader<Person> reader() throws Exception {
   StringBuffer sb = new StringBuffer();
   sb.append("select * from person");
   String sql = sb.toString();
   JdbcCursorItemReader<Person> jdbcCursorItemReader =
     new JdbcCursorItemReader<>();
   jdbcCursorItemReader.setSql(sql);
   jdbcCursorItemReader.setRowMapper(new BeanPropertyRowMapper<>(Person.class));
   jdbcCursorItemReader.setDataSource(dataSource);
   return jdbcCursorItemReader;
  }
  @Override
  @Bean("personJobWriter")
  public ItemWriter<Person> writer() {
   JdbcBatchItemWriter<Person> writer = new JdbcBatchItemWriter<Person>();
   writer.setItemSqlParameterSourceProvider(new BeanPropertyItemSqlParameterSourceProvider<Person>());
   String sql = "insert into person_export " + "(id,name,age,nation,address) "
     + "values(:id, :name, :age, :nation,:address)";
   writer.setSql(sql);
   writer.setDataSource(dataSource);
   return writer;
  }
 }

写操作需要定义自己的bean的声明

注意,需要为每个job的write启个名称,否则在多job时,write将会被打乱

 /**
  * 批量写数据.
  *
  * @return
  */
 @Override
 @Bean("personVerson2JobWriter")
 public ItemWriter<Person> writer() {
  
 }

添加一个api,手动触发

 @Autowired
 SyncPersonJob syncPersonJob;
 @Autowired
 JobLauncher jobLauncher;
 void exec(Job job) throws Exception {
  JobParameters jobParameters = new JobParametersBuilder()
    .addLong("time", System.currentTimeMillis())
    .toJobParameters();
  jobLauncher.run(job, jobParameters);
 }
 @RequestMapping("/run1")
 public String run1() throws Exception {
  exec(syncPersonJob.getJob());
  return "personJob success";
 }

总结

以上所述是小编给大家介绍的springbatch的封装与使用实例详解,希望对大家有所帮助,如果大家有任何疑问欢迎给我留言,小编会及时回复大家的!

相关文章

  • Java 在生活中的 10 大应用

    Java 在生活中的 10 大应用

    这篇文章主要给大家分享Java 在生活中的 10 大应用,桌面图形用户界面、移动应用、人工智能、网络应用程序、大数据技术、游戏应用、商业应用、嵌入式系统、云应用、科学应用,下文来看具体应用介绍,需要的朋友可以参考一下
    2021-11-11
  • springboot之如何获取请求ip方法

    springboot之如何获取请求ip方法

    这篇文章主要介绍了springboot之如何获取请求ip方法,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-07-07
  • mybatis多个plugins的执行顺序解析

    mybatis多个plugins的执行顺序解析

    这篇文章主要介绍了mybatis多个plugins的执行顺序解析,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-09-09
  • 教你怎么用Java开发扫雷游戏

    教你怎么用Java开发扫雷游戏

    我们那时候上机经常玩扫雷,试想如果我当年可以用 java 写个扫雷出来,那场面不用我多说了吧,大家让开,我要开始装逼了,之前用JavaScript写过了一个扫雷,这次我用java再写了一遍,权当是复习咯.文中有非常详细的代码示例,需要的朋友可以参考下
    2021-05-05
  • Java多线程生产者消费者模式实现过程解析

    Java多线程生产者消费者模式实现过程解析

    这篇文章主要介绍了Java多线程生产者消费者模式实现过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-03-03
  • Spring boot使用logback实现日志管理过程详解

    Spring boot使用logback实现日志管理过程详解

    这篇文章主要介绍了Spring boot使用logback实现日志管理过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-06-06
  • Java面向对象程序设计:抽象类,接口用法实例分析

    Java面向对象程序设计:抽象类,接口用法实例分析

    这篇文章主要介绍了Java面向对象程序设计:抽象类,接口用法,结合实例形式分析了java抽象类与接口相关概念、原理、用法与操作注意事项,需要的朋友可以参考下
    2020-04-04
  • Nacos源码之注册中心的实现详解

    Nacos源码之注册中心的实现详解

    这篇文章主要为大家介绍了Nacos源码之注册中心的实现详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-02-02
  • 如何写好一个Spring组件的实现步骤

    如何写好一个Spring组件的实现步骤

    这篇文章主要介绍了如何写好一个Spring组件的实现步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-06-06
  • ThreadLocal数据存储结构原理解析

    ThreadLocal数据存储结构原理解析

    这篇文章主要为大家介绍了ThreadLocal数据存储结构原理解析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-10-10

最新评论