java简单网页抓取的实现方法
本文实例讲述了java简单网页抓取的实现方法。分享给大家供大家参考。具体分析如下：
背景介绍
一 tcp简介
1 tcp 实现网络中点对点的传输
2 传输是通过ports和sockets
ports提供了不同类型的传输（例如 http的port是80）
1）sockets可以绑定在特定端口上，并且提供传输功能
2）一个port可以连接多个socket
二 URL简介
URL 是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。
互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。
综上，我们要抓取网页的内容实质上就是通过url来抓取网页内容。
Java提供了两种方法：
一种是直接从URL读取网页
一种是通过 URLConnection来读取网页
其中的URLConnection是以http为核心的类，提供了很多关于连接http的函数
本文将给出基于URLConnection的实例代码。
在此之前我们先来看下关于url的异常。不了解java异常机制的请参看上一篇博文。
构造URL的异常MalformedURLException产生条件：url的字符串为空或者是不能辨认的协议
建立 URLConnection的异常 IOException产生条件: openConnection失败，注意openConnection时 代码还未连接远程，只是为连接远程做准备
综上所述,最终代码如下：
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;
public class SimpleNetSpider {
public static void main(String[] args) {
try{
URL u = new URL("http://docs.oracle.com/javase/tutorial/networking/urls/");
URLConnection connection = u.openConnection();
HttpURLConnection htCon = (HttpURLConnection) connection;
int code = htCon.getResponseCode();
if (code == HttpURLConnection.HTTP_OK)
{
System.out.println("find the website");
BufferedReader in=new BufferedReader(new InputStreamReader(htCon.getInputStream()));
String inputLine;
while ((inputLine = in.readLine()) != null)
System.out.println(inputLine);
in.close();
}
else
{
System.out.println("Can not access the website");
}
}
catch(MalformedURLException e )
{
System.out.println("Wrong URL");
}
catch(IOException e)
{
System.out.println("Can not connect");
}
}
}
希望本文所述对大家的Java程序设计有所帮助。
相关文章
关于阿里巴巴TransmittableThreadLocal使用解读
文章主要介绍了三种ThreadLocal的使用：ThreadLocal、InheritableThreadLocal和TransmittableThreadLocal,ThreadLocal和InheritableThreadLocal在单线程和部分情况下可以正常工作,但TransmittableThreadLocal在处理线程池时表现更佳2025-02-02
spring boot2.0图片上传至本地或服务器并配置虚拟路径的方法
最近写了关于图片上传至本地文件夹或服务器，上传路径到数据库，并在上传时预览图片。本文通过实例代码给大家分享spring boot2.0图片上传至本地或服务器并配置虚拟路径的方法，需要的朋友参考下2018-12-12
限流是指在各种应用场景中,通过技术和策略手段对数据流量、请求频率或资源消耗进行有计划的限制,本文为大家整理了常见的限流的实现方式,有需要的可以参考下2024-02-02
最近有位细心的朋友在阅读笔者的文章时，对java类的生命周期问题有一些疑惑，笔者打开百度搜了一下相关的问题，看到网上的资料很少有把这个问题讲明白的，主要是因为目前国内java方面的教材大多只是告诉你“怎样做”，但至于“为什么这样做”却不多说2016-01-01
这篇文章主要介绍了list stream: reduce的使用实例，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-09-09
这篇文章主要为大家详细介绍了java金额数字转中文工具类的相关资料，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-04-04
springboot之SpringApplication生命周期和事件机制解读
这篇文章主要介绍了springboot之SpringApplication生命周期和事件机制，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-06-06
最近工作中遇到不少多线程问题,但自己一直对多线程的理解比较表层,所以深入研究了一番,下面这篇文章主要给大家介绍了关于java中线程安全问题的相关资料,需要的朋友可以参考下2021-11-11
这篇文章主要介绍了Spring web集成rabbitmq代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-01-01
这篇文章主要介绍了Java Spring之@Async原理案例详解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下2021-09-09
最新评论