Node.js抓取中文网页乱码问题和解决方法

更新时间：2015年02月10日 09:54:50 投稿：junjie

这篇文章主要介绍了Node.js抓取中文网页乱码问题和解决方法,本文讲解了使用一些开源库解决抓取中出现的乱码问题,需要的朋友可以参考下

Node.js 抓取非 utf-8 的中文网页时会出现乱码问题，比如网易的首页编码是 gb2312，抓取时会出现乱码

复制代码代码如下:

var request = require('request')
var url = 'http://www.163.com'

request(url, function (err, res, body) {
console.log(body)
})

可以使用 iconv-lite 来解决

安装

复制代码代码如下:

npm install iconv-lite

同时我们顺带把 user-agent 修改一下，以防网站屏蔽：

复制代码代码如下:

var originRequest = require('request')
var iconv = require('iconv-lite')
var headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}

function request (url, callback) {
var options = {
    url: url,
    encoding: null,
    headers: headers
}
originRequest(options, callback)
}

request(url, function (err, res, body) {
var html = iconv.decode(body, 'gb2312')
console.log(html)
})

乱码问题解决

使用 cheerio 解析 HTML

cheerio 可以简单粗暴的理解为服务器端 jQuery 选择器，有了它，比正则要更加直观许多

安装

复制代码代码如下:

npm install cheerio  

request(url, function (err, res, body) {  

    var html = iconv.decode(body, 'gb2312')

    var $ = cheerio.load(html)

    console.log($('h1').text())

    console.log($('h1').html())

})

输出如下

复制代码代码如下:

网易

&#x7F51;&#x6613;

那么问题来了，$('h1').html() 输出的代码是经过 Unicode 编码的，网易变成了网易，给我们的字符处理带来了一些麻烦

解决 cheerio .html() 「乱码」问题
查阅文档可知，可以关闭这个转换实体编码的功能

复制代码代码如下:

var $ = cheerio.load(html)

改成

复制代码代码如下:

var $ = cheerio.load(html, {decodeEntities: false})

即可，完整代码如下：

复制代码代码如下:

var originRequest = require('request')
var cheerio = require('cheerio')
var iconv = require('iconv-lite')
var headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}

function request (url, callback) {
var options = {
    url: url,
    encoding: null,
    headers: headers
}
originRequest(options, callback)
}

var url = 'http://www.163.com'

request(url, function (err, res, body) {
    var html = iconv.decode(body, 'gb2312')
    var $ = cheerio.load(html, {decodeEntities: false})
    console.log($('h1').text())
    console.log($('h1').html())
})

您可能感兴趣的文章:

基于NodeJS的前后端分离的思考与实践（二）模版探索
在传统的开发模式中，浏览器端与服务器端是由不同的前后端两个团队开发，但是模版却又在这两者中间的模糊地带。因此模版上面总不可避免的越来越多复杂逻辑，最终难以维护。
2014-09-09
node.js生成与读取csv文件方法详解
这篇文章主要介绍了node.js生成与读取csv文件方法详解,需要的朋友可以参考下
2022-10-10
NodeJS创建最简单的HTTP服务器
这篇文章主要介绍了NodeJS创建最简单的HTTP服务器的相关资料，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2017-05-05
Node.js中Process.nextTick()和Process.setImmediate()的区别
这篇文章介绍了Node.js中Process.nextTick()和Process.setImmediate()的区别，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2022-07-07
Node.js 使用axios读写influxDB的方法示例
这篇文章主要介绍了Node.js 使用axios读写influxDB的方法示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2018-10-10
NodeJS整合银联网关支付（DEMO）
这篇文章主要介绍了NodeJS整合银联网关支付DEMO的相关资料非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下
2016-11-11
更新Node.js的四种方法小结
Node.js是一个开放源代码的跨平台JavaScript运行环境,它在不同的平台上都得到了广泛使用和支持,强大的生态系统、持续的更新和不断改进的性能使得Node.js非常受欢迎,然而,更新Node.js仍然是一个必要的过程,本文给大家介绍一些有关如何更新Node.js的方法
2023-11-11
NodeJS实现自定义流的方法
在 NodeJS 中要想实现自定义流，需要依赖模块 stream ，直接引入，不需下载，所有种类的流都是继承这个模块内部提供的对应不同种类的类来实现的。接下来通过本文给大家介绍NodeJS实现自定义流的方法，一起看看吧
2018-08-08
node文件批量重命名的方法示例
本篇文章主要介绍了node文件批量重命名的方法示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-10-10
详解Node.js中path模块的resolve()和join()方法的区别
这篇文章主要介绍了详解Node.js中path模块的resolve()和join()方法的区别，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2018-10-10