零基础写Java知乎爬虫之准备工作
更新时间：2014年11月07日 09:48:35 投稿：hebedich
上个系列我们从易到难介绍了如何使用python编写爬虫，小伙伴们反响挺大，这个系列我们来研究下使用Java编写知乎爬虫，小伙伴们可以对比这看下。
开篇我们还是和原来一样，讲一讲做爬虫的思路以及需要准备的知识吧，高手们请直接忽略。
首先我们来缕一缕思绪，想想到底要做什么，列个简单的需求。
需求如下：
1.模拟访问知乎官网（http://www.zhihu.com/）
2.下载指定的页面内容，包括：今日最热，本月最热，编辑推荐
3.下载指定分类中的所有问答，比如：投资，编程，挂科
4.下载指定回答者的所有回答
5.最好有个一键点赞的变态功能（这样我就可以一下子给雷伦的所有回答都点赞了我真是太机智了！）
那么需要解决的技术问题简单罗列如下：
1.模拟浏览器访问网页
2.抓取关键数据并保存到本地
3.解决网页浏览中的动态加载问题
4.使用树状结构海量抓取知乎的所有内容
好的，目前就想了这些。
接下来就是准备工作了。
1.确定爬虫语言：由于以前写过一系列爬虫教程（点击这里），百度贴吧，糗事百科，山东大学的绩点查询等都是用python写的，所以这次决定使用Java来写（喂完全没有半毛钱联系好吗）。
2.科普爬虫知识：网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛通过网页的链接地址来寻找网页。具体的入门介绍请（点击这里）。
3.准备爬虫环境：Jdk和Eclipse的安装和配置就不多说啦。这里啰嗦一句，一个好用的浏览器对于爬虫来说非常重要，因为首先你需要自己浏览网页知道你需要的东西在哪里，你才能告诉你的爬虫们去哪里怎么爬。个人推荐火狐浏览器，或者谷歌浏览器，它们的右键审查元素和查看源代码的功能都非常强大。
下面我们开始正式的爬虫之旅！~具体讲些什么呢，恩，这是个问题，让我好好想想，别急^_^
相关文章
这篇文章主要介绍了Redis六大数据类型使用方法详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-12-12
下面小编就为大家带来一篇根据URL下载图片至客户端、服务器的简单实例。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2016-12-12
这篇文章主要介绍了如何养成良好java代码编码规范，规范需要平时编码过程中注意，是一个慢慢养成的好习惯，下面小编就带大家来一起详细了解一下吧2019-06-06
这篇文章主要给大家介绍了关于Spring Boot中如何快速操作Mongodb的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-05-05
这篇文章主要介绍了Java模拟栈和队列数据结构的基本示例,栈的后进先出和队列的先进先出是数据结构中最基础的知识,本文则又对Java实现栈和队列结构的方法进行了细分,需要的朋友可以参考下2016-04-04
Druid 是阿里巴巴开源平台上一个数据库连接池实现，结合了 C3P0、DBCP 等 DB 池的优点，同时加入了日志监控。这篇文章主要介绍了SpringBoot整合Druid、Redis的实例详解,感兴趣的朋友跟随小编一起看看吧2022-02-02
这篇文章主要介绍了java中生成任意之间数的随机数详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
这篇文章主要介绍了基于SpringBoot实现大文件分块上传功能,实现原理其实很简单,核心就是客户端把大文件按照一定规则进行拆分,比如20MB为一个小块,分解成一个一个的文件块,然后把这些文件块单独上传到服务端,需要的朋友可以参考下2024-09-09
这篇文章主要介绍了 java实现数字转大写的方法的相关资料,希望通过本文能帮助到大家，让大家实现这样的功能，需要的朋友可以参考下2017-10-10
这篇文章主要介绍了mybatis plus 关联数据库排除不必要字段方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-03-03
最新评论