java抓取网页数据示例
更新时间：2014年03月02日 16:10:50 作者：
要通java获取整个网页的html内容，或者某个网络文件的内容,可以使用java提供的HttpURLConnection类来实现对网页内容的抓取
下面举例说明：
抓取百度首页的内容：
复制代码 代码如下:
URL url = new URL("http://www.baidu.com");
HttpURLConnection urlCon=(HttpURLConnection)url.openConnection();
urlCon.setConnectTimeout(50000);
urlCon.setReadTimeout(300000);
DataInputStream fIn;
byte[] content = new byte[MAX_FILE_SIZE];
fIn = new DataInputStream(urlCon.getInputStream());
int size = 0,f_size = 0;
while((size = fIn.read(content,f_size,2048))> 0){
f_size += size;
}
在代码中我们将百度首页的内容存储到了一个byte数组中，当然我们有了 IO流以后还可以存储到文件中去了。
相关文章
使用Mybatis-plus实现对数据库表的内部字段进行比较
这篇文章主要介绍了使用Mybatis-plus实现对数据库表的内部字段进行比较方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-07-07
这篇文章主要介绍了Java加载properties文件实现方式详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-07-07
关于JDK15的新特性之TextBlocks文本块的引入和使用
这篇文章主要介绍了关于JDK15的新特性之文本块的引入和使用,如果具有一种语言学机制，可以比多行文字更直观地表示字符串，而且可以跨越多行，而且不会出现转义的视觉混乱，那么这将提高广泛Java类程序的可读性和可写性,需要的朋友可以参考下2023-07-07
这篇文章主要介绍了Java TreeMap排序算法,结合实例形式分析了TreeMap排序算法的原理、实现方法与相关注意事项,需要的朋友可以参考下2017-07-07
这篇文章主要为大家介绍了java理论基础Stream管道流状态与并行操作，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步2022-03-03
在Java中，生成随机数有两种方法。1是使用Random类。2是使用Math类中的random方法。看下面的例子使用吧2013-11-11
这篇文章主要介绍了java实现二维数组转json的方法,涉及java数组遍历及json格式数据构造相关操作技巧,需要的朋友可以参考下2017-10-10
在本篇内容里我们给大家分享了关于java转化为exe程序的具体步骤和相关知识点，需要的朋友们学习下。2019-03-03
这篇文章主要介绍了聊聊SpringBoot的@Scheduled的并发问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-11-11
这篇文章主要为大家介绍了java对象池common-pool2使用示例解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-05-05
最新评论