脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → java → Jsoup提取文档内容超时

java使用Jsoup连接网站超时的解决方法

 更新时间：2013年11月20日 11:36:10   作者：  
jsoup是一个非常好的解析网页的包，用java开发的，提供了类似DOM，CSS选择器的方式来查找和提取文档中的内容,提取文档内容时会出现超时的情况，解决方法可看下文

今天做了一个Jsoup解析网站的项目，使用Jsoup.connect(url).get()连接某网站时偶尔会出现
java.net.SocketTimeoutException:Read timed out异常。
原因是默认的Socket的延时比较短，而有些网站的响应速度比较慢，
所以会发生超时的情况。

解决方法：

链接的时候设定超时时间即可。
doc = Jsoup.connect(url).timeout(5000).get();
5000表示延时时间设置为5s。

测试代码如下：
1，不设定timeout时：

复制代码 代码如下:

package jsoupTest;

import java.io.IOException;

import org.jsoup.*;
import org.jsoup.helper.Validate;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupTest {
 public static  void main(String[] args) throws IOException{
 String url = "https://www.jb51.net";
 long start = System.currentTimeMillis();
 Document doc=null;
 try{
  doc = Jsoup.connect(url).get();
 }
 catch(Exception e){
  e.printStackTrace();
 }
 finally{
  System.out.println("Time is:"+(System.currentTimeMillis()-start) + "ms");
 }
 Elements elem = doc.getElementsByTag("Title");
 System.out.println("Title is:" +elem.text());
 } 
}

有时发生超时：
java.net.SocketTimeoutException: Read timed out
at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.read(Unknown Source)
at java.net.SocketInputStream.read(Unknown Source)
at java.io.BufferedInputStream.fill(Unknown Source)
at java.io.BufferedInputStream.read1(Unknown Source)
at java.io.BufferedInputStream.read(Unknown Source)
at sun.net.www.http.ChunkedInputStream.fastRead(Unknown Source)
at sun.net.www.http.ChunkedInputStream.read(Unknown Source)
at java.io.FilterInputStream.read(Unknown Source)
at sun.net.www.protocol.http.HttpURLConnection$HttpInputStream.read(Unknown Source)
at java.util.zip.InflaterInputStream.fill(Unknown Source)
at java.util.zip.InflaterInputStream.read(Unknown Source)
at java.util.zip.GZIPInputStream.read(Unknown Source)
at java.io.BufferedInputStream.read1(Unknown Source)
at java.io.BufferedInputStream.read(Unknown Source)
at java.io.FilterInputStream.read(Unknown Source)
at org.jsoup.helper.DataUtil.readToByteBuffer(DataUtil.java:113)
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:447)
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:393)
at org.jsoup.helper.HttpConnection.execute(HttpConnection.java:159)
at org.jsoup.helper.HttpConnection.get(HttpConnection.java:148)
at jsoupTest.JsoupTest.main(JsoupTest.java:17)
Time is:3885ms
Exception in thread "main" java.lang.NullPointerException
at jsoupTest.JsoupTest.main(JsoupTest.java:25)

2 设定了则一般不会超时

复制代码 代码如下:

package jsoupTest;

import java.io.IOException;

import org.jsoup.*;
import org.jsoup.helper.Validate;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupTest {
 public static  void main(String[] args) throws IOException{
 String url = "https://www.jb51.net";
 long start = System.currentTimeMillis();
 Document doc=null;
 try{
  doc = Jsoup.connect(url).timeout(5000).get();
 }
 catch(Exception e){
  e.printStackTrace();
 }
 finally{
  System.out.println("Time is:"+(System.currentTimeMillis()-start) + "ms");
 }
 Elements elem = doc.getElementsByTag("Title");
 System.out.println("Title is:" +elem.text());
 } 
}

您可能感兴趣的文章:

相关文章

  • Java项目有中多个线程如何查找死锁

    Java项目有中多个线程如何查找死锁

    这篇文章主要介绍了Java项目有中多个线程如何查找死锁，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2021-05-05
  • 解析Java中未被捕获的异常以及try语句的嵌套使用

    解析Java中未被捕获的异常以及try语句的嵌套使用

    这篇文章主要介绍了Java中未被捕获的异常以及try语句的嵌套使用,是Java入门学习中的基础知识,需要的朋友可以参考下
    2015-09-09
  • Java常用正则表达式验证工具类RegexUtils.java

    Java常用正则表达式验证工具类RegexUtils.java

    相信大家对正则表达式一定都有所了解和研究，这篇文章主要为大家分享了Java 表单注册常用正则表达式验证工具类,具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2016-11-11
  • 10个实现Java集合,Map类型自由转换的实用工具方法

    10个实现Java集合,Map类型自由转换的实用工具方法

    这篇文章主要为大家整理了整理了10个实用工具方法,可以满足 Collection、List、Set、Map 之间各种类型转化,文中的示例代码讲解详细,需要的可以参考下
    2023-09-09
  • Springboot项目通过redis实现接口的幂等性

    Springboot项目通过redis实现接口的幂等性

    这篇文章主要为大家介绍了Springboot项目通过redis实现接口的幂等性,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-12-12
  • springboot高并发下提高吞吐量的实现

    springboot高并发下提高吞吐量的实现

    这篇文章主要介绍了springboot高并发下提高吞吐量的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-11-11
  • Struts2动态结果集代码示例

    Struts2动态结果集代码示例

    这篇文章主要介绍了Struts2动态结果集的有关内容，涉及具体代码示例，具有一定参考价值，需要的朋友可以了解下。
    2017-09-09
  • 一篇文章带你玩转go语言的接口

    一篇文章带你玩转go语言的接口

    这篇文章主要介绍了go语言的接口，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧，希望能够给你带来帮助
    2021-09-09
  • java web将数据导出为Excel格式文件代码片段

    java web将数据导出为Excel格式文件代码片段

    这篇文章主要为大家详细介绍了java web将数据导出为Excel格式文件代码片段，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2017-01-01
  • Java中的jinfo命令使用详解

    Java中的jinfo命令使用详解

    jinfo是JDK提供的一个可以实时查看Java虚拟机各种配置参数和系统属性的命令行工具，本文给大家介绍下Java中的jinfo命令使用，感兴趣的朋友一起看看吧
    2022-03-03

最新评论