一篇文章教会你使用java爬取想要的资源

 更新时间:2021年08月25日 09:31:46   作者:Talisman丶  
这篇文章主要介绍了使用java爬虫爬取想要的资源,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

说明

简介: 你还在为想要的资源而获取不到而烦劳吗?你还在为你不会python而爬取不到资源而烦劳吗?没关系,看完我这一篇文章你就会学会用java爬取资源,从此不会因此而烦劳,下面我会以爬取京东物品来进行实战演示!!!

方法摘要

方法 方法说明
adoptNode(Node source) 试图把另一文档中的节点采用到此文档。
createAttribute(String name) 创建指定名称的Attr
createCDATASection(String data) 创建其值为指定字符串的 CDATASection 节点。
createComment(String data) 创建给定指定字符串的 Comment 节点。
createDocumentFragment() 创建空 DocumentFragment 对象。
createElement(String tagName) 创建指定类型的元素。
createElementNS(String namespaceURI, String qualifiedName) 创建给定的限定名称和名称空间 URI 的元素。
createEntityReference(String name) 创建 EntityReference 对象。
createProcessingInstruction(String target, String data) 创建给定指定名称和数据字符串的 ProcessingInstruction 节点。
createTextNode(String data) 创建给定指定字符串的 Text 节点。
getDoctype() 与此文档相关的文档类型声明(参见 DocumentType)。
getDocumentElement() 这是一种便捷属性,该属性允许直接访问文档的文档元素的子节点。
getDocumentURI() 文档的位置,如果未定义或 Document 是使用 DOMImplementation.createDocument 创建的,则为 null。
getDomConfig() 调用 Document.normalizeDocument() 时使用的配置。
getElementsByTagName(String tagname) 按文档顺序返回包含在文档中且具有给定标记名称的所有 Element 的 NodeList。
getElementById(String elementId) 返回具有带给定值的 ID 属性的 Element。
getElementsByTagNameNS(String namespaceURI, String localName) 以文档顺序返回具有给定本地名称和名称空间 URI 的所有 Elements 的 NodeList。
getImplementation() 处理此文档的 DOMImplementation 对象。
getInputEncoding() 指定解析时此文档使用的编码的属性。
getStrictErrorChecking() 指定是否强制执行错误检查的属性。
getXmlEncoding() 作为 XML 声明的一部分,指定此文档编码的属性。
getXmlStandalone() 作为 XML 声明的一部分,指定此文档是否为独立文档的属性。
getXmlVersion() 作为 XML 声明 的一部分指定此文档版本号的属性。
importNode(Node importedNode, boolean deep) 从另一文档向此文档导入节点,而不改变或移除原始文档中的源节点;此方法创建源节点的一个新副本。
normalizeDocument() 此方法的行为如同使文档通过一个保存和加载的过程,而将其置为 “normal(标准)” 形式。
renameNode(Node n, String namespaceURI, String qualifiedName) 重命名 ELEMENT_NODE 或 ATTRIBUTE_NODE 类型的现有节点。
setDocumentURI(String documentURI) //文档的位置,如果未定义或 Document 是使用 DOMImplementation.createDocument 创建的,则为 null。
setStrictErrorChecking(boolean strictErrorChecking) 指定是否强制执行错误检查的属性。
setXmlStandalone(boolean xmlStandalone) 作为 XML 声明 的一部分指定此文档是否是单独的的属性。
setXmlVersion(String xmlVersion) 作为 XML 声明 的一部分指定此文档版本号的属性。

常用的Element节点方法

得到文档的根节点.

Element element = document.getRootElement(); 

得到某节点的单个子节点

Element element =root.element("node");

得到某节点下的所有子节点并进行遍历

List nodes = rootElm.elements("node"); 
for (Iterator it = nodes.iterator(); it.hasNext();) { 
  Element element = (Element) it.next(); 
} 

在某个节点下添加子节点

Element element = newElement.addElement("node");

删除某个节点

Element element = parentElement.remove(childElement);

设置节点的文字

ageElm.setText("20"); 

添加一个CDATA节点

Element element = infoElement.addElement("content");
element .addCDATA(diary.getContent());

实战:爬取B站番剧

Maven

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.13.1</version>
</dependency>

代码

步骤

1.打开控制台检查网页的结构

在这里插入图片描述

2.逐步分析哪些内容在哪个标签下,找到该内容的class或id

比如此处我们要找到 bang_itme 这个class,然后在找它下面的其他class或者id

在这里插入图片描述3.

3.完整代码如下

public class HtmlParseUtil {
    public static void main(String[] args) throws IOException {
        new HtmlParseUtil().myAnime("柯南");
    }

    public void myAnime(String keyWorks) throws IOException {
        String encode = URLEncoder.encode(keyWorks, "UTF-8");
        String url = "https://search.bilibili.com/all?keyword="+encode+"&from_source=web_search"; // 搜索地址
        Document document = Jsoup.parse(new URL(url), 30000);
        Elements elements = document.getElementsByClass("bangumi-item");
        for (Element element : elements) {
            Elements link = element.getElementsByClass("left-img");
            System.out.println(link.attr("href").split("//")[1]);
            System.out.println(element.getElementsByClass("title").attr("title"));
            System.out.println(element.getElementsByClass("desc").text());
        }
    }
}    

4.执行结果

在这里插入图片描述

到此这篇关于一篇文章教会你使用java爬取想要的资源的文章就介绍到这了,更多相关java爬取资源内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Spring Boot Actuator 漏洞利用小结

    Spring Boot Actuator 漏洞利用小结

    spring对应两个版本,分别是Spring Boot 2.x和Spring Boot 1.x,因此后面漏洞利用的payload也会有所不同,这篇文章主要介绍了Spring Boot Actuator 漏洞利用小结,需要的朋友可以参考下
    2023-11-11
  • Seata AT模式启动过程图文示例详解

    Seata AT模式启动过程图文示例详解

    这篇文章主要为大家介绍了Seata AT模式启动过程图文示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-09-09
  • Java中文件操作功能小结

    Java中文件操作功能小结

    这篇文章主要为大家整理了一些Java中文件操作功能的相关资料,文中的示例代码讲解详细,具有一定的学习价值,感兴趣的小伙伴可以了解一下
    2023-05-05
  • Spring MVC中处理ajax请求的跨域问题与注意事项详解

    Spring MVC中处理ajax请求的跨域问题与注意事项详解

    跨域问题是我们大家在开发中会经常遇到的一个问题,所以下面这篇文章主要给大家介绍了关于Spring MVC中处理ajax请求的跨域问题与注意事项的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考借鉴,下面随着小编来一起学习学习吧。
    2017-11-11
  • 关于break和continue以及label的区别和作用(详解)

    关于break和continue以及label的区别和作用(详解)

    下面小编就为大家带来一篇关于break和continue以及label的区别和作用(详解)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-05-05
  • 全面解析JTA 深度历险

    全面解析JTA 深度历险

    本文介绍了利用 JTA 深度历险的相关内容,充分举例说明JTA的原理和事务处理等相关内容,十分详细,需要的朋友可以参考下。
    2017-09-09
  • java发送get请求和post请求示例

    java发送get请求和post请求示例

    这篇文章主要介绍了java发送get请求和post请求示例,需要的朋友可以参考下
    2014-03-03
  • java实现文本复制功能

    java实现文本复制功能

    这篇文章主要为大家详细介绍了java实现文本复制功能,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-11-11
  • JAVA DOM解析XML文件过程详解

    JAVA DOM解析XML文件过程详解

    这篇文章主要介绍了JAVA DOM解析XML文件过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-01-01
  • java文件下载设置中文名称的实例(response.addHeader)

    java文件下载设置中文名称的实例(response.addHeader)

    下面小编就为大家分享一篇java文件下载设置中文名称的实例(response.addHeader),具有很好的参考价值,希望对大家有所帮助
    2017-12-12

最新评论