java编程实现简单的网络爬虫示例过程
更新时间：2021年10月15日 08:52:07 作者：spring小杨
这篇文章主要为大家介绍了如何使用java编程实现一个简单的网络爬虫示例，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步
本项目中需要用到两个第三方jar包，分别为 jsoup 和 commons-io。
jsoup的作用是为了解析网页， commons-io 是为了把数据保存到本地。
1.爬取贴吧
第一步，打开eclipse，新建一个java项目，名字就叫做 pachong：
然后，新建一个类，作为我们程序的入口。
这个作为入口类，里面就写一个main方法即可。
public class StartUp {
public static void main(String[] args) {
}
}
第二步，导入我们的依赖，两个jar包：
右键jar包，Build path , add to Build path
接着，我们试着搜索一下动漫吧的数据：
https://tieba.baidu.com/f?kw=%B6%AF%C2%FE&tpl=5
public class StartUp {
public static void main(String[] args) {
String url = "https://tieba.baidu.com/f?kw=%B6%AF%C2%FE&tpl=5";
Connection connect = Jsoup.connect(url);
System.out.println(connect);
}
}
如果能够成功打印出来链接，说明我们的连接测试是成功的！
然后，我们调用connect的get方法，获取链接到的数据：
Document document = connect.get();
这边需要抛出一个异常，而且是强制性的，因为有可能会获取失败。这边我们直接抛出去，不去捕获。
public class StartUp {
public static void main(String[] args) throws IOException {
String url = "https://tieba.baidu.com/f?kw=%B6%AF%C2%FE&tpl=5";
Connection connect = Jsoup.connect(url);
System.out.println(connect);
Document document = connect.get();
System.out.println(document);
}
}
打印出来的结果：
可见，document对象装的就是一个完整HTML页面。
在这里，我们想要拿到的第一个数据，就是所有帖子的标题：
我们发现，每一个标题都是一个a连接，class为j_th_tit 。
下一步我们就考虑获取所有class为 j_th_tit 的元素。
我们发现，document对象给我们提供了 getElementsByClass 的方法，顾名思义，就是获取class为 XXX 的元素。
Elements titles = document.getElementsByClass("j_th_tit");
接着，遍历titles，打印出每一个标题的名称：
for (int i = 0; i < titles.size(); i++) {
System.out.println(titles.get(i).attr("title"));
}
当前代码：
import java.io.IOException;
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
public class StartUp {
public static void main(String[] args) throws IOException {
String url = "https://tieba.baidu.com/f?kw=%B6%AF%C2%FE&tpl=5";
Connection connect = Jsoup.connect(url);
Document document = connect.get();
Elements titles = document.getElementsByClass("j_th_tit");
for (int i = 0; i < titles.size(); i++) {
System.out.println(titles.get(i).attr("title"));
}
}
}
以上就是java编程实现简单的网络爬虫示例过程的详细内容，更多关于java实现网络爬虫的资料请关注脚本之家其它相关文章！
相关文章
今天小编就为大家分享一篇java正则替换img标签中src值的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06
这篇文章主要为大家详细介绍了Java语言如何查看线程运行状态的方法，文中的示例代码讲解详细，感兴趣的小伙伴可以跟随小编一起学习一下2022-08-08
这篇文章主要介绍了Java的Spring框架中DAO数据访问对象的使用示例,分为在Spring中DOA与JDBC以及与Hibernate的配合使用两种情况来进行演示,需要的朋友可以参考下2016-03-03
这篇文章以图文结合的方式介绍了Eclipse j2ee开发环境的搭建过程,内容很详细，每一个步骤都有对应的操作截图，需要的朋友可以参考下2015-08-08
Springboot-admin整合Quartz实现动态管理定时任务的过程详解
Quartz是一款Java编写的开源任务调度框架，同时它也是Spring默认的任务调度框架，它的作用其实类似于Timer定时器以及ScheduledExecutorService调度线程池，这篇文章主要介绍了Springboot-admin整合Quartz实现动态管理定时任务,需要的朋友可以参考下2023-04-04
这篇文章主要介绍了java实现开根号的运算方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-07-07
本篇文章是对java读写二进制文件的方法进行了详细的分析介绍，需要的朋友参考下2013-05-05
解决springboot druid数据库连接池连接失败后一直重连问题
这篇文章主要介绍了解决springboot druid数据库连接池连接失败后一直重连问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-11-11
这篇文章主要介绍了Java 反射机制的实例详解的相关资料,希望通过本文能帮助到大家，让大家理解掌握反射机制，需要的朋友可以参考下2017-10-10
这篇文章主要介绍了java多线程如何按指定顺序同步执行,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-10-10
最新评论