java爬虫Jsoup主要类及功能使用详解

更新时间：2022年12月11日 11:54:31 作者：刨红薯的小羊竿尔

这篇文章主要为大家介绍了java爬虫Jsoup主要类及功能使用详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

一、Jsoup的主要功能

Jsoup是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

从一个URL，文件或字符串中解析HTML
使用DOM或CSS选择器来查找、取出数据
可操作HTML元素、属性、文本
根据安全的白名单清理用户提交的内容，以防止XSS攻击
输出整洁的HTML

二、Jsoup的主要类

1. org.jsoup.Jsoup类

Jsoup类是任何Jsoup程序的入口点，并将提供从各种来源加载和解析HTML文档的方法。

static Connection connect(String url)	创建并返回URL的连接。
static Document parse(File in, String charsetName)	将指定的字符集文件解析成文档。
static Document parse(String html)	将给定的html代码解析成文档。
static String clean(String bodyHtml, Whitelist whitelist)	从输入HTML返回安全的HTML，通过解析输入HTML并通过允许的标签和属性的白名单进行过滤。

2. org.jsoup.nodes.Document类

该类表示通过Jsoup库加载HTML文档。可以使用此类执行适用于整个HTML文档的操作。

3. org.jsoup.nodes.Element类

HTML元素是由标签名称，属性和子节点组成。使用Element类，您可以提取数据，遍历节点和操作HTML。

三、Jsoup使用

1.maven引入

<dependency>
    <groupId>org.jsoup</groupId> 
    <artifactId>jsoup</artifactId> 
    <version>1.10.2</version> 
</dependency>

2.加载文档

Document document = Jsoup.connect("http://www.yiibai.com").get();
Document document = Jsoup.parse( new File( "D:/temp/index.html" ) , "utf-8" );```
String html = "<html><head><title>First</title></head><body><p>Parsed</p></body></html>";
Document document = Jsoup.parse(html);

3.解析文档

根据id查询元素 getElementById
根据标签获取元素 getElementsByTag
根据class获取元素 getElementsByClass
根据属性获取元素 getElementsByAttribute

// 解析文件，获取doc对象 
Document doc = Jsoup.parse(new File("C:\\Users\\myqxin\\Desktop\\set.html"), "utf8"); 
// 1，根据id查询元素 getElementById 
Element element1 = doc.getElementById("people"); 
// 2，根据标签获取元素 getElementsByTag 
Element element2 = doc.getElementsByTag("span").first(); 
// 3，根据class获取元素 getElementsByClass 
Element element3 = doc.getElementsByClass("").first(); 
// 4，根据属性获取元素 getElementsByAttribute 
Element element4 = doc.getElementsByAttribute("").last(); 
// 根据属性和属性值获取 Element element5 = doc.getElementsByAttributeValue("abc","123").last();

4.使用选择器获取元素

selector选择器概述

tagname：通过标签查找元素，比如：span
#id：通过ID查找元素，比如：#myqxin
.class：通过class名称查找元素，比如：class_a
[attribute]：利用属性查找元素，比如：[abc]
[attr=value]：利用属性值查询元素，比如：[class=s_name]
ns|tag: 通过标签在命名空间查找元素，比如：可以用 fb|name 语法来查找 fb:name 元素
[attr^=value], [attr$=value], [attr*=value]: 利用匹配属性值开头、结尾或包含属性值来查找元素，比如：[href*=/path/]
[attr~=regex]: 利用属性值匹配正则表达式来查找元素，比如： img[src~=(?i).(png|jpe?g)]
*: 这个符号将匹配所有元素

Selector选择器组合使用

el#id: 元素+ID，比如： div#logo
el.class: 元素+class，比如： div.masthead
el[attr]: 元素+class，比如： a[href]
任意组合，比如：a[href].highlight
ancestor child: 查找某个元素下子元素，比如：可以用.body p 查找在"body"元素下的所有 p元素
parent > child: 查找某个父元素下的直接子元素，比如：可以用div.content > p 查找 p 元素，也可以用body > * 查找body标签下所有直接子元素
siblingA + siblingB: 查找在A元素之前第一个同级元素B，比如：div.head + div
siblingA ~ siblingX: 查找A元素之前的同级X元素，比如：h2 ~ p
el, el, el:多个选择器组合，查找匹配任一选择器的唯一元素，例如：div.masthead, div.logo

伪选择器selectors

:lt(n): 查找哪些元素的同级索引值（它的位置在DOM树中是相对于它的父节点）小于n，比如：td:lt(3) 表示小于三列的元素
:gt(n):查找哪些元素的同级索引值大于n，比如： div p:gt(2)表示哪些div中有包含2个以上的p元素
:eq(n): 查找哪些元素的同级索引值与n相等，比如：form input:eq(1)表示包含一个input标签的Form元素
:has(seletor): 查找匹配选择器包含元素的元素，比如：div:has(p)表示哪些div包含了p元素
:not(selector): 查找与选择器不匹配的元素，比如： div:not(.logo) 表示不包含 class="logo" 元素的所有 div 列表
:contains(text): 查找包含给定文本的元素，搜索不区分大不写，比如： p:contains(jsoup)
:containsOwn(text): 查找直接包含给定文本的元素
:matches(regex): 查找哪些元素的文本匹配指定的正则表达式，比如：div:matches((?i)login)
:matchesOwn(regex): 查找自身包含文本匹配指定正则表达式的元素
注意：上述伪选择器索引是从0开始的

5. 处理元素数据

attr(String key)获取和attr(String key, String value)设置属性
attributes() 获得所有属性
id()，className()和classNames()
text()获取和text(String value)设置文本内容
html()获取和html(String value)设置内部HTML内容
outerHtml() 获取外部HTML值
data()获取数据内容（例如script和style标签）
tag() 和 tagName()

6.操纵HTML和文本

append(String html)， prepend(String html)
appendText(String text)， prependText(String text)
appendElement(String tagName)， prependElement(String tagName)
html(String value)

7.从元素中提取属性，文本和HTML

在解析文档并找到一些元素之后，您将需要获取这些元素中的数据。

Element.id()
Element.tagName()
Element.className() 和 Element.hasClass(String className)

以上就是java爬虫Jsoup主要类及功能使用详解的详细内容，更多关于java爬虫Jsoup类功能的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

Java bat批处理命令启动jar包的操作方法
这篇文章主要介绍了JAVA bat批处理命令启动jar包,本文给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧
2024-12-12
带你快速搞定java并发库
本文主要介绍了java高并发写入用户信息到数据库的几种方法，具有很好的参考价值。下面跟着小编一起来看下吧，希望能给你带来帮助
2021-07-07
Java 网络编程socket编程等详解
本篇文章主要介绍了java网络编程中的类的方法以及实例，需要的朋友可以参考下
2017-04-04
java常用数据流应用实例解析
这篇文章主要介绍了java常用数据流应用实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-12-12
如何给yml配置文件的密码加密(SpringBoot)
这篇文章主要介绍了如何给yml配置文件的密码加密(SpringBoot)，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2022-10-10
SpringBoot实现动态定时任务的示例代码
在SpringBoot项目中简单使用定时任务，不过由于要借助cron表达式且都提前定义好放在配置文件里，不能在项目运行中动态修改任务执行时间，实在不太灵活。现在我们就来实现可以动态修改cron表达式的定时任务,感兴趣的可以了解一下
2022-10-10
深入分析RabbitMQ中死信队列与死信交换机
这篇文章主要介绍了RabbitMQ中死信队列与死信交换机，死信队列就是一个普通的交换机，有些队列的消息成为死信后，一般情况下会被RabbitMQ清理，感兴趣想要详细了解可以参考下文
2023-05-05
Springboot通过配置WebMvcConfig处理Cors非同源访问跨域问题
这篇文章主要介绍了Springboot通过配置WebMvcConfig处理Cors非同源访问跨域问题，关于Cors跨域的问题，前端有代理和jsonp的常用方式解决这种非同源的访问拒绝策略
2023-04-04
详解JAVA中priorityqueue的具体使用
这篇文章主要介绍了详解JAVA中priorityqueue的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-01-01
Java通过正则表达式获取字符串中数字的方法示例
最近工作中遇到了一个需求，需要利用java获取字符串中的数字，尝试几种方法后发现利用正则表达式实现最为方法，下面这篇文章就主要介绍了Java通过正则表达式获取字符串中数字的方法，文中给出了详细的示例代码，需要的朋友可以参考下。
2017-03-03