详解JAVA抓取网页的图片,JAVA利用正则表达式抓取网站图片

 更新时间:2016年12月19日 15:45:16   作者:SwingPyzf  
这篇文章主要介绍了详解JAVA抓取网页的图片,JAVA利用正则表达式抓取网站图片,非常具有实用价值,需要的朋友可以参考下。

利用Java抓取网页上的所有图片:

用两个正则表达式:

1、匹配html中img标签的正则:<img.*src=(.*?)[^>]*?>

2、匹配img标签中得src中http路径的正则:http:\"?(.*?)(\"|>|\\s+)

实现:

package org.swinglife.main; 
 
import java.io.File; 
import java.io.FileOutputStream; 
import java.io.InputStream; 
import java.net.URL; 
import java.net.URLConnection; 
import java.util.ArrayList; 
import java.util.List; 
import java.util.regex.Matcher; 
import java.util.regex.Pattern; 
 
/*** 
 * java抓取网络图片 
 * @author swinglife 
 * 
 */ 
public class CatchImage { 
 
  // 地址 
  private static final String URL = "http://www.csdn.net"; 
  // 编码 
  private static final String ECODING = "UTF-8"; 
  // 获取img标签正则 
  private static final String IMGURL_REG = "<img.*src=(.*?)[^>]*?>"; 
  // 获取src路径的正则 
  private static final String IMGSRC_REG = "http:\"?(.*?)(\"|>|\\s+)"; 
 
   
  public static void main(String[] args) throws Exception { 
    CatchImage cm = new CatchImage(); 
    //获得html文本内容 
    String HTML = cm.getHTML(URL); 
    //获取图片标签 
    List<String> imgUrl = cm.getImageUrl(HTML); 
    //获取图片src地址 
    List<String> imgSrc = cm.getImageSrc(imgUrl); 
    //下载图片 
    cm.Download(imgSrc); 
  } 
   
   
  /*** 
   * 获取HTML内容 
   * 
   * @param url 
   * @return 
   * @throws Exception 
   */ 
  private String getHTML(String url) throws Exception { 
    URL uri = new URL(url); 
    URLConnection connection = uri.openConnection(); 
    InputStream in = connection.getInputStream(); 
    byte[] buf = new byte[1024]; 
    int length = 0; 
    StringBuffer sb = new StringBuffer(); 
    while ((length = in.read(buf, 0, buf.length)) > 0) { 
      sb.append(new String(buf, ECODING)); 
    } 
    in.close(); 
    return sb.toString(); 
  } 
 
  /*** 
   * 获取ImageUrl地址 
   * 
   * @param HTML 
   * @return 
   */ 
  private List<String> getImageUrl(String HTML) { 
    Matcher matcher = Pattern.compile(IMGURL_REG).matcher(HTML); 
    List<String> listImgUrl = new ArrayList<String>(); 
    while (matcher.find()) { 
      listImgUrl.add(matcher.group()); 
    } 
    return listImgUrl; 
  } 
 
  /*** 
   * 获取ImageSrc地址 
   * 
   * @param listImageUrl 
   * @return 
   */ 
  private List<String> getImageSrc(List<String> listImageUrl) { 
    List<String> listImgSrc = new ArrayList<String>(); 
    for (String image : listImageUrl) { 
      Matcher matcher = Pattern.compile(IMGSRC_REG).matcher(image); 
      while (matcher.find()) { 
        listImgSrc.add(matcher.group().substring(0, matcher.group().length() - 1)); 
      } 
    } 
    return listImgSrc; 
  } 
 
  /*** 
   * 下载图片 
   * 
   * @param listImgSrc 
   */ 
  private void Download(List<String> listImgSrc) { 
    try { 
      for (String url : listImgSrc) { 
        String imageName = url.substring(url.lastIndexOf("/") + 1, url.length()); 
        URL uri = new URL(url); 
        InputStream in = uri.openStream(); 
        FileOutputStream fo = new FileOutputStream(new File(imageName)); 
        byte[] buf = new byte[1024]; 
        int length = 0; 
        System.out.println("开始下载:" + url); 
        while ((length = in.read(buf, 0, buf.length)) != -1) { 
          fo.write(buf, 0, length); 
        } 
        in.close(); 
        fo.close(); 
        System.out.println(imageName + "下载完成"); 
      } 
    } catch (Exception e) { 
      System.out.println("下载失败"); 
    } 
  } 
 
   
} 

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • SpringBoot接口参数的默认值与必要性最佳实践记录

    SpringBoot接口参数的默认值与必要性最佳实践记录

    这篇文章主要介绍了SpringBoot接口参数的默认值与必要性,通过合理设置接口参数的默认值和必要性,我们可以创建出既健壮又灵活的 RESTful API,需要的朋友可以参考下
    2024-08-08
  • 使用maven创建web项目的方法步骤(图文)

    使用maven创建web项目的方法步骤(图文)

    本篇文章主要介绍了使用maven创建web项目的方法步骤,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-01-01
  • 使用SpringBoot 工厂模式自动注入到Map

    使用SpringBoot 工厂模式自动注入到Map

    这篇文章主要介绍了使用SpringBoot 工厂模式自动注入到Map,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-09-09
  • Java实现十秒向MySQL插入百万条数据

    Java实现十秒向MySQL插入百万条数据

    这篇文章主要为大家详细介绍了Java如何实现十秒向MySQL插入百万条数据,文中的示例代码讲解详细,对我们学习或工作有一定借鉴价值,需要的可以参考一下
    2022-11-11
  • Java获取文件的路径及常见问题解决方案

    Java获取文件的路径及常见问题解决方案

    这篇文章主要介绍了Java获取文件的路径及常见问题解决方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-03-03
  • springboot引入远程nacos配置文件错误的解决方案

    springboot引入远程nacos配置文件错误的解决方案

    本文为解决Spring Cloud Alibaba中配置导入问题,提供了详细的步骤说明,包括引入依赖、配置nacos、创建bootstrap.yml文件以及测试配置导入是否成功的方法,帮助开发者快速解决相关问题
    2024-09-09
  • 通过Java实现反向代理集群服务的平滑分配

    通过Java实现反向代理集群服务的平滑分配

    这篇文章主要介绍了如何通过Java语言,自己编写的平滑加权轮询算法,结合线程池和Socket 网络编程等,并实现反向代理集群服务的平滑分配,需要的可以参考一下
    2022-04-04
  • SpringBoot自定义全局异常处理器的问题总结

    SpringBoot自定义全局异常处理器的问题总结

    Springboot框架提供两个注解帮助我们十分方便实现全局异常处理器以及自定义异常,处理器会优先处理更具体的异常类型,如果没有找到匹配的处理器,那么它会寻找处理更一般异常类型的处理器,本文介绍SpringBoot自定义全局异常处理器的问题,一起看看吧
    2024-01-01
  • IntelliJ IDEA导入Gradle项目的方法

    IntelliJ IDEA导入Gradle项目的方法

    这篇文章主要介绍了IntelliJ IDEA导入Gradle项目的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-03-03
  • Apache Shrio安全框架实现原理及实例详解

    Apache Shrio安全框架实现原理及实例详解

    这篇文章主要介绍了Apache Shrio安全框架实现原理及实例详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-04-04

最新评论