Node.js实现的简易网页抓取功能示例
现今，网页抓取已经是一种人所共知的技术了，然而依然存在着诸多复杂性， 简单的网页爬虫依然难以胜任Ajax轮训、XMLHttpRequest，WebSockets，Flash Sockets等各种复杂技术所开发出来的现代化网站。
我们以我们在Hubdoc这个项目上的基础需求为例，在这个项目中，我们从银行，公共事业和信用卡公司的网站上抓取帐单金额，到期日期，账户号码，以及最重要的：近期账单的pdf。对于这个项目，我一开始采用了很简单的方案（暂时并没有使用我们正在评估的昂贵的商业化产品）——我以前在MessageLab/Symantec使用Perl做过的一个简单的爬虫项目。但是结果很不顺利，垃圾邮件发送者所制作的网站要比银行和公共事业公司的网站简单的多得多。
那么如何解决这个问题呢？我们主要从使用Mikea开发的优秀 request库开始。在浏览器中发出请求，并在Network窗口中查看到底发送出去了什么请求头，然后把这些请求头拷贝到代码里。这个过程很简单。仅仅是跟踪从登陆开始，到下载Pdf文件结束的这个过程，然后模拟这个过程的所有的请求而已。为了使类似的事情处理起来变得容易，并且能让网络开发者们更加合理地写爬虫程序，我把从HTML上取到结果的方把导出到jQuery中（使用轻量级 cheerio库），这使得相似的工作变得简单，也使利用CSS选择子选取一个页面中的元素变得较为简单。整个过程被包装进一个框架，而这个框架也可以做额外的工作，例如从数据库中拾取证书，加载个体机器人，和UI通过socket.io沟通。
对于一些web站点来说这个是有效的，但这仅仅是JS脚本，而不是我那个被这些公司放在他们站点上的node.js的code。他们对遗留下来的问题，针对复杂性就行分层，使得你非常难去弄明白该做什么来得到登录的信息点。对于一些站点我尝试了几天通过与request()库结合来获取，但仍是徒然。
在几近崩溃后，我发现了node-phantomjs，这个库可以让我从node中控制phantomjs headless webkit浏览器（译者注：这个我没想到一个对应的名词，headless这里的意思是渲染页面在后台完成，无需显示设备）。这看起来是一种简单的解决方案，但是还有一些phantomjs无法回避的问题需要解决：
1.PhantomJS只能告诉你页面是否完成了加载，但是你无法确定这个过程中是否存在通过JavaScript或者meta标签实现的重定向（redirect）。特别是JavaScript使用setTimeout()来延迟调用的时候。
2.PhantomJS为你提供了一个页面加载开始（pageLoadStarted）的钩子，允许你处理上面提到的问题，但是这个机能只能在你确定要加载的页面数，在每个页面加载完成时减少这个数字，并且为可能的超时提供处理（因为这种事情并不总是会发生），这样当你的数字减少为0，就可以调用你的回调函数了。这种方式可以工作，但是总让人觉得有点像是黑客手段。
3.PhantomJS每抓取一个页面需要一个完整独立的进程，因为如果不这样，无法分离每个页面之间的cookies。如果你是用同一个phantomjs进程，已经登录的页面中的session会被发送到另一个页面中。
4.无法使用PhantomJS下载资源 - 你只能将页面保存为png或者pdf。这很有用，但是这意味着我们需要求助于request()来下载pdf。
5.由于上述的原因，我必须找到一个方法来将cookie从PhantomJS的session中分发到request()的session库中去。只需要将document.cookie的字符串分发过去，解析它，然后将其注入到request()的cookie jar中去。
6.将变量注入到浏览器session中并不是件容易的事情。要这么做我需要创建一个字符串来建立一个Javascript函数。
Robot.prototype.add_page_data = function (page, name, data) {
page.evaluate(
"function () { var " + name + " = window." + name + " = " + JSON.stringify(data) + "}"
);
}
7.一些网站总是充斥着console.log()之类的代码，也需要将他们重新定义，输出到我们希望的位置。为了完成这个，我这么做：
if (!console.log) {
var iframe = document.createElement("iframe");
document.body.appendChild(iframe);
console = window.frames[0].console;
}
8.一些网站总是充斥着console.log()之类的代码，也需要将他们重新定义，输出到我们希望的位置。为了完成这个，我这么做：
if (!console.log) {
var iframe = document.createElement("iframe");
document.body.appendChild(iframe);
console = window.frames[0].console;
}
9.告诉浏览器我点击了a标签也是件很不容易的事情，为了完成这些事情，我加入了以下的代码：
var clickElement = window.clickElement = function (id){
var a = document.getElementById(id);
var e = document.createEvent("MouseEvents");
e.initMouseEvent("click", true, true, window, 0, 0, 0, 0, 0, false, false, false, false, 0, null);
a.dispatchEvent(e);
};
10.我还需要限制浏览器session的最大并发量，从而保障我们不会爆掉服务器。虽然这么说，可是这个限制要比昂贵的商业解决方案所能提供的高很多。（译者注：即商业解决方案的并发量比这个解决方案大）
所有的工作结束后，我就有一个比较体面的 PhantomJS + request 的爬虫解决方案。必须使用 PhantomJS 登录后才可以返回去 request() 请求，它将使用在 PhantomJS 中设置的 Cookie 来验证登录的会话。这是一个巨大的胜利，因为我们可以使用 request() 的流来下载 pdf文件。
整个的计划就是为了让 Web 开发者相对容易的理解如何使用 jQuery 和 CSS 选择器来创建不同 Web 网站的爬虫，我还没有成功证明这个思路可行，但相信很快会了。
相关文章
这篇文章主要介绍了Node.js API详解之 dgram模块用法,结合实例形式分析了Node.js API中dgram模块基本功能、函数、使用方法及操作注意事项,需要的朋友可以参考下2020-06-06
Node.js 是一个基于事件驱动、非阻塞 I/O 模型的 JavaScript 运行时环境,特别适合构建高并发的网络应用,本文介绍了几种解决 Node.js单线程限制的方法,希望对大家有所帮助2024-12-12
这篇文章主要介绍了NodeJS服务器实现gzip压缩的示例代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-10-10
node的好处毋庸置疑，事件驱动，异步非阻塞I/O，以及处理高并发的能力深入人心，因此大家喜欢用node做一些小型后台服务或者作为中间层和其他服务配合完成一些大型应用场景。2021-06-06
这篇文章主要介绍了Node.js REPL (交互式解释器)实例详解的相关资料,Node.js REPL(Read Eval Print Loop:交互式解释器) 表示一个电脑的环境，类似 Window 系统的终端，我们可以在终端中输入命令，并接收系统的响应，需要的朋友可以参考下2017-08-08
nodejs Assert中equal(),strictEqual(),deepEqual(),strictDeepEq
这篇文章主要介绍了node项目中遇到使用断言测试程序，看了下nodejs的api之后，对nodejs中assert断言的几个方法做个简单的记录,需要的朋友可以参考下2017-09-09
Node.js进程管理工具PM2是一个开源的工具，用于管理和监控Node.js应用程序的运行，它可以帮助您方便地启动、停止、重启和监视多个Node.js进程，并提供了许多有用的功能，所以本文就和大家一起了解一下PM2,需要的朋友可以参考下2023-07-07
这篇文章主要介绍了详解使用nodeJs安装Vue-cli，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-05-05
调式代码很多时候类似于查案一样，只是结果的重要程度不同，警察查案为的是人民安稳，而我们调式则是为了系统的安稳。既然这样我们就不要冤枉任何一段代码和程序，以免他们受到不合理的惩罚。2014-06-06
这篇文章主要给大家介绍了关于如何利用nodejs实现命令行游戏的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-11-11
最新评论