Java实践练习轻松几行实现追书神器

 更新时间:2021年10月19日 09:33:25   作者:spring小杨  
读万卷书不如行万里路,只学书上的理论是远远不够的,只有在实战中才能获得能力的提升,本篇文章手把手带你用Java实现一个追书神器,用技术改变生活,大家可以在过程中查缺补漏,提升水平

大家好,我是Spring小杨,一个有梦想的Java司机。

前不久,有个老同学找到我,问有没有什么靠谱的追书神器?

我想着这玩意无非用爬虫,但是还是得尽量低调,不然牢底坐穿!

正版网站的资源很难爬下来的,所以书源还是只能搜盗版网站,某趣阁就是个不错的选择。

说干就干,我立刻用eclipse创建了一个Java项目,还是按照之前的配方,用Hutool做定时任务。

因为要爬取网站信息,所以还是得借助jsoup。

jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。

还是之前一样的配方,不过这次加了jsoup和javax.mail。为什么要发送邮件呢?那是因为我想要定时去检测网站的小说有没有更新,如果更新了,就及时把最新的章节通过邮件的形式发送给我,那不是更好吗?

这样我就可以立刻知道小说有没有更新了,然后更新的话,去自己的邮箱看就行了。

邮箱里面是肯定没有广告的啦!

public static HashMap cache = new HashMap<>();
public static Map cookies = new HashMap<>();
public static String url = https://www.biquwx.la/xxx/;

首先,定义几个成员变量,分别是缓存cache,cookie 和 url。我就不用数据库了,用一个静态的HashMap来做缓存。cookie是每次爬取网页后保存的,就是尽量模拟得像我浏览器访问。最后是url,就是小说网站的实际地址,大概是这么一个目录。

如果有更新,那就一定会出现在这个网页!

下面是我发送请求的代码:

Connection con = Jsoup.connect(url)
				.userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:56.0) Gecko/20100101 Firefox/56.0")
                .header("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8")
                .header("Accept-Language","zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3")
                .header("Accept-Encoding", "gzip, deflate")
                .header("Connection","keep-alive")
                .header("Upgrade-Insecure-Requests", "1").cookies(cookies);

为了不希望他一下子发送太多邮件,我单独设置了一个起始章节,放在txt文本里面的。

里面就一个最新的章节标题:

已经发送过的章节,我把它放到缓存中,不再重复发送:

//先检查是否已经在缓存中
if(cache.containsKey(element.text())){
	System.out.println(element.text()+ "已经发送,无需重复发送!");
	continue;
}

最后,再用Java发送一份邮件到自己的邮箱就可以啦!

MailAccount account = new MailAccount();
account.setHost("smtp.163.com");
account.setPort(Integer.valueOf(465));
account.setAuth(true);
account.setSslEnable(Boolean.valueOf(true));
account.setConnectionTimeout(1000L);
account.setSocketFactoryFallback(true);
account.setFrom("你的发送邮箱");
account.setUser("你的发送邮箱");
account.setPass("你发送邮箱的授权码");
MailUtil.send(account, "xxxxxxxxx@qq.com",element.text() , content, true, new File[0]);
System.out.println("发送成功!");

我用的是163邮箱,然后发到对应的qq邮箱。

下面是我成功收到的小说章节邮件:

配上定时任务,效果是达到了, 但是这个还是得放在服务器上运行才好,不然总不可能一直开着电脑吧,哈哈。

全部源代码如下:

/**
     * 自动发送小说最新章节
     */
	public static void sendMail() throws IOException{
		System.out.println("开始准备爬取..");
		Connection con = Jsoup.connect(url)
				.userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:56.0) Gecko/20100101 Firefox/56.0")
                .header("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8")
                .header("Accept-Language","zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3")
                .header("Accept-Encoding", "gzip, deflate")
                .header("Connection","keep-alive")
                .header("Upgrade-Insecure-Requests", "1").cookies(cookies);
 
		Response execute = con.execute();
		
		cookies = execute.cookies();
		
		String body = execute.body().toString();
		
		Document doc = Jsoup.parse(body);
		
		Elements as = doc.getElementsByTag("a");
		boolean shouldSend = false;
		
		String start = FileUtil.readString("C:/start.txt", "UTF-8"); //读取开始章节,如果服务重启,必须重新修改该文件
		
		for (Iterator iterator = as.iterator(); iterator.hasNext();) {
			Element element = (Element) iterator.next();
			
			if(element.text().equals(start)){
				shouldSend = true;
			}
			
			if(shouldSend && element.text().startsWith("第")){
				//先检查是否已经在缓存中
				if(cache.containsKey(element.text())){
					System.out.println(element.text()+ "已经发送,无需重复发送!");
					continue;
				}
				con = Jsoup.connect(url + element.attr("href"));
				String content = Jsoup.parse(con.execute().body()).getElementById("content").html();
				
				cache.put(element.text(), "");
				
				MailAccount account = new MailAccount();
			     account.setHost("smtp.163.com");
			     account.setPort(Integer.valueOf(465));
			     account.setAuth(true);
			     account.setSslEnable(Boolean.valueOf(true));
			     account.setConnectionTimeout(1000L);
			     account.setSocketFactoryFallback(true);
			     account.setFrom("你的发送邮箱");
			     account.setUser("你的发送邮箱");
			     account.setPass("授权码");
			    // MailUtil.send(account, "你的接收邮箱",element.text() , content, true, new File[0]);
			     System.out.println("发送成功!");
			}
	
		}
	}

最后,爬虫虽好,不过自娱自乐一下就好了哈,本文也只是提供一个传统思路,切勿用作违法用途哦~~

到此这篇关于Java实践练习轻松几行实现追书神器的文章就介绍到这了,更多相关Java 追书神器内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 关于在Java中如何使用yaml的实例

    关于在Java中如何使用yaml的实例

    这篇文章主要介绍了关于在Java中如何使用yaml的实例,YAML是一种轻量级的数据序列化格式。它以易读、易写的文本格式表示数据,支持列表、字典等各种数据结构,被广泛应用于配置文件、数据传输协议等领域,需要的朋友可以参考下
    2023-08-08
  • SpringBoot解决ajax跨域问题的方法

    SpringBoot解决ajax跨域问题的方法

    这篇文章主要为大家详细介绍了SpringBoot解决ajax跨域问题的方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-03-03
  • 深入理解Spring Aop的执行顺序

    深入理解Spring Aop的执行顺序

    本文将结合实例代码,介绍Spring Aop的执行顺序,非常具有实用价值,需要的朋友可以参考下
    2021-06-06
  • java数据结构与算法之桶排序实现方法详解

    java数据结构与算法之桶排序实现方法详解

    这篇文章主要介绍了java数据结构与算法之桶排序实现方法,结合具体实例形式详细分析了桶排序的概念、原理、实现方法与相关操作技巧,需要的朋友可以参考下
    2017-05-05
  • 图解Java经典算法快速排序的原理与实现

    图解Java经典算法快速排序的原理与实现

    快速排序是基于二分的思想,对冒泡排序的一种改进。主要思想是确立一个基数,将小于基数的数放到基数左边,大于基数的数字放到基数的右边,然后在对这两部分进一步排序,从而实现对数组的排序
    2022-09-09
  • java分布式面试降级组件Hystrix的功能特性

    java分布式面试降级组件Hystrix的功能特性

    这篇文章主要为大家介绍了java分布式面试关于降级组件Hystrix的功能特性回答,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步
    2022-03-03
  • Java spring webmvc如何实现控制反转

    Java spring webmvc如何实现控制反转

    这篇文章主要介绍了Java spring webmvc如何实现控制反转,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-08-08
  • Struts和servlet不能共存问题解决方法

    Struts和servlet不能共存问题解决方法

    这篇文章主要介绍了Struts和servlet不能共存问题解决方法,共有三种方法,需要的朋友可以参考下。
    2017-09-09
  • Java中的锁分类的详细介绍

    Java中的锁分类的详细介绍

    这篇文章主要介绍了Java中的锁分类的详细介绍,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-09-09
  • SpringBoot+ruoyi框架文件上传和下载的实现

    SpringBoot+ruoyi框架文件上传和下载的实现

    文件的上传和下载功能,是项目开发过程中比较常见的业务需求,本文主要介绍了SpringBoot+ruoyi框架文件上传和文件下载的实现,具有一定的参考价值,感兴趣的可以了解一下
    2023-09-09

最新评论