Spring boot项目集成Camel FTP的方法示例

 更新时间:2018年10月09日 11:43:09   作者:LuckyDL  
这篇文章主要介绍了Spring boot项目集成Camel FTP的方法示例,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

1、Spring 中集成camel-ftp

近期项目中涉及到定期获取读取并解析ftp服务器上的文件,自己实现ftp-client的有些复杂,因此考虑集成camel-ftp的方式来解决ftp文件的下载问题。自己则专注于文件的解析工作.

demo: https://github.com/LuckyDL/ftp-camel-demo

1.1、POM引用

<dependency>
  <groupId>org.apache.camel</groupId>
  <artifactId>camel-spring-boot-starter</artifactId>
  <version>2.22.1</version>
</dependency>
<dependency>
  <groupId>org.apache.camel</groupId>
  <artifactId>camel-ftp</artifactId>
  <version>2.22.1</version>
</dependency>

注意:在选择版本的时候,如果SpringBoot版本是1.5.10.RELEASE的话,那么camel的版本最高只能使用2.21.2,使用2.22版本将会报错。经测试的配套关系如下:

SrpingBoot Camel
1.5 <=2.21.2
2.0 >=2.22.x

其他情况都会出现错误.

1.2、SpringBoot application.yml配置

ftp:
 addr: 172.18.18.19:21  # ftp地址、端口
 name: ftpuser
 password: ftp2018
 options: password=${ftp.password}&readLock=rename&delay=10s&binary=true&filter=#zipFileFilter&noop=true&recursive=true
 url: ftp://${ftp.name}@${ftp.addr}/?${ftp.options}
 # 本地下载目录
 local-dir: /var/data

# 后台运行进程
camel:
 springboot:
  main-run-controller: true

management:
 endpoint:
  camelroutes:
   enabled: true
   read-only: true

配置说明:

  • delay:每次读取时间间隔
  • filter: 指定文件过滤器
  • noop:读取后对源文件不做任何处理
  • recursive:递归扫描子目录,需要在过滤器中允许扫描子目录
  • readLock:对正在写入的文件的处理机制

更多参数配置见官方手册

1.3、配置路由

要配置从远端服务器下载文件到本地,格式如下,from内部为我们在上面配置的url,to为本地文件路径。

@Component
public class DownloadRoute extends RouteBuilder {
  /** logger */
  private static final Logger logger = LoggerFactory.getLogger(DownloadRoute.class);

  @Value("${ftp.server.info}")
  private String sftpServer;
  
  @Value("${ftp.local.dir}")
  private String downloadLocation;
  
  @Autowired
  private DataProcessor dataProcessor;

  @Override
  public void configure() throws Exception{
    from(sftpServer)
        .to(downloadLocation)
        .process(dataProcessor)
        .log(LoggingLevel.INFO, logger, "Download file ${file:name} complete.");
  }
}

说明:

若将from配置为本地地址,to配置为远端地址,则可以实现向远端服务器上传文件

process是数据处理器,如果仅仅是下载文件到本地,那么就不需要该配置。

也可以配置多条路由也处理不同的业务:

@Override
  public void configure() throws Exception{
    // route1
    from(sftpServer)
        .to(downloadLocation)
        .process(dataProcessor)
        .log(LoggingLevel.INFO, logger, "Download file ${file:name} complete.");
    // route2
    from(xxx).to(xxxx);
    
    // route3
    from(xxxx).to(xxx).process(xxx);
  }

1.4、配置文件过滤

如果ftp服务器上有很多文件,但是我们需要的只是其中的一种,全部下载下来,有业务层来实现过滤肯定不合适,我们可以使用camel-ftp的文件过滤器,通过url中的filter来指定,如“filter=#zipFileFilter”,
用户需要实现GenericFileFilter接口的accept方法。

例如我们只需要下载后缀名为.zip的压缩包到本地,过滤器的编写方法如下,因为我要递归扫描子目录,因此类型为目录的文件也需要允许通过。

/**
 * camel ftp zip文件过滤器
 */
@Component
public class ZipFileFilter implements GenericFileFilter {
  
  @Override
  public boolean accept(GenericFile file) {
    return file.getFileName().endsWith(".zip") || file.isDirectory();
  }
}

1.5、文件处理器

文件处理器就是我们对下载到本地的文件进行处理的操作,比如我们可能需要对下载的文件重新规划目录;或者解析文件并进行入库操作等。这就需要通过实现Processer的process方法。

本文中的demo就是通过processor来解析zip包中的文件内容:

@Component
public class DataProcessor implements Processor {

  /** logger */
  private static final Logger logger = LoggerFactory.getLogger(DataProcessor.class);


  @Value("${ftp.local-dir}")
  private String fileDir;

  @Override
  public void process(Exchange exchange) throws Exception {
    GenericFileMessage<RandomAccessFile> inFileMessage = (GenericFileMessage<RandomAccessFile>) exchange.getIn();
    String fileName = inFileMessage.getGenericFile().getFileName();
    String file_path = fileDir + '/' + fileName;
    readZip(file_path);
  }
  
  ...  // 省略数据处理方法
}

2、参考资料

关于camel ftp的各个参数配置,参见官方手册:http://camel.apache.org/ftp2.html

此处需要注意的是,camel ftp手册里面只写了ftp独有的一些配置项,camel-ftp组件继承自camel-file,手册里面有说明,就一句话,不注意就可能忽略了,笔者就是没注意,被递归扫描子目录的问题折腾了2天(阅读要细心o(╥﹏╥)o)。。。因此有一些参数配置项可能在camel-ftp手册里面找不到,请移步至:http://camel.apache.org/file2.html

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • 自己动手编写一个Mybatis插件之Mybatis脱敏插件

    自己动手编写一个Mybatis插件之Mybatis脱敏插件

    这篇文章主要介绍了自己动手编写一个Mybatis插件之Mybatis脱敏插件,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-08-08
  • 使用JAVA8 filter对List多条件筛选的实现

    使用JAVA8 filter对List多条件筛选的实现

    这篇文章主要介绍了使用JAVA8 filter对List多条件筛选的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-03-03
  • MyBatis使用注解开发和无主配置文件开发的情况

    MyBatis使用注解开发和无主配置文件开发的情况

    这篇文章主要介绍了MyBatis使用注解开发和无主配置文件开发的情况,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-03-03
  • @TransactionalEventListener的使用和实现原理分析

    @TransactionalEventListener的使用和实现原理分析

    这篇文章主要介绍了@TransactionalEventListener的使用和实现原理分析,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-12-12
  • jdbc中class.forname的作用

    jdbc中class.forname的作用

    这篇文章主要介绍了jdbc中class.forname的作用,使用示例说明了他作用及使用方法,大家参考使用吧
    2014-01-01
  • Java安全框架——Shiro的使用详解(附springboot整合Shiro的demo)

    Java安全框架——Shiro的使用详解(附springboot整合Shiro的demo)

    这篇文章主要介绍了Java安全框架——Shiro的使用详解,帮助大家更好的理解和学习使用Shiro,感兴趣的朋友可以了解下
    2021-04-04
  • 通过Java实现获取表的自增主键值

    通过Java实现获取表的自增主键值

    这篇文章主要为大家详细介绍了如何通过Java实现获取表的自增主键值,文中的示例代码讲解详细,具有一定的学习价值,感兴趣的可以了解一下
    2023-06-06
  • java中isEmpty和isBlank的区别小结

    java中isEmpty和isBlank的区别小结

    Java中的isEmpty和isBlank都是用来判断字符串是否为空的方法,但在不同的情况下有所区别,具有一定的参考价值,感兴趣的可以了解一下
    2023-09-09
  • Java过滤器与监听器间区别与联系

    Java过滤器与监听器间区别与联系

    监听器是一个接口内容由我们实现,会在特定时间被调用,监听器用于监听web应用中三大域对象(request,session,application),信息的创建,销毁,增加,修改,删除等动作的发生,然后做出相应的响应处理
    2023-01-01
  • 浅谈java里的EL表达式在JSP中不能解析的问题

    浅谈java里的EL表达式在JSP中不能解析的问题

    下面小编就为大家带来一篇浅谈java里的EL表达式在JSP中不能解析的问题。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-05-05

最新评论