Node.js中的http请求客户端示例(request client)

 更新时间:2017年05月04日 16:16:22   作者:OurJS  
本篇文章主要介绍了Node.js中的http请求客户端示例(request client),具有一定的参考价值,感兴趣的小伙伴们可以参考一下

Node.JS有一个request模块,可以很方便的抓取网页内容。最简单的一个示例:

var request = require('request');

request('http://www.google.com', function (error, response, body) {
 if (!error && response.statusCode == 200) {
  console.log(body);
 }
})

由上例可以看出用request发起一个http请求确实非常简单,不过唯一的问题就是,request模块的第三方依赖比较多,导致这个模块非常地大,要占用好几M的空间。

其实用node.js原生的http模块就可以很方便地写出一个类似的request的功能,只要几十行即可:

var http = require('http')
var url  = require('url')


var request = function(reqUrl, data, cb, headers) {
 var dataType = typeof data

 if (dataType == 'function') {
  headers = cb
  cb   = data
  rawData = null
 } else if (dataType == 'object') {
  rawData = JSON.stringify(data)
 } else {
  rawData = data
 }

 var urlObj = url.parse(reqUrl)

 var options = {
   hostname : urlObj.hostname
  , port   : urlObj.port
  , path   : urlObj.pathname
  , method  : rawData ? 'post' : 'get'
 }

 headers && (options.headers = headers)


 var req = http.request(options, function(res) {
  var receives = []

  if (res.statusCode !== 200) {
   cb && cb(new Error('Request Failed. Status Code: ' + res.statusCode + ' ' + reqUrl))
   return
  }

  res.on('data', function(chunk) {
   receives.push(chunk)
  })

  res.on('end', function() {
   var resData = Buffer.concat(receives).toString()
   try {
    resData = JSON.parse(resData)
   } catch (e) { }

   cb && cb(null, res, resData)
  })
 })

 req.on('error', function(e) {
  cb && cb(e)
 })

 rawData && req.write(rawData)

 req.end()
}


module.exports = request

使用接口与request模块是一样的,比如我们抓取新浪新闻首页的内容

request('http://news.sina.com.cn', function(err, res, data) {
 console.log('geted', data)
})

其次它还支持抓取时附加cookie等header认证信息,如

request('http://news.sina.com.cn', function(err, res, data) {
 console.log('get with cookie', data)
}, { cookie: '_sessionid=1234567890' })

对POST的支持

request('http://news.sina.com.cn', { postdata: 'json' }, function(err, res, data) {
 console.log('get with cookie', data)
}, { cookie: '_sessionid=1234567890' })

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • 关于npm i几种常见命令的区别详解

    关于npm i几种常见命令的区别详解

    npm(Node.js Package Manager)是一个Node.js的包管理工具,用来解决Node.js代码部署问题,下面这篇文章主要给大家介绍了关于npm i几种常见命令的那点事,需要的朋友可以参考下
    2023-03-03
  • node.js爬取中关村的在线电瓶车信息

    node.js爬取中关村的在线电瓶车信息

    这篇文章主要给大家介绍了关于利用node.js如何爬取中关村的在线电瓶车信息的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用node.js具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2018-11-11
  • Windows 系统下安装和部署Egret的开发环境

    Windows 系统下安装和部署Egret的开发环境

    Egret基于TypeScript开发的,而TypeScript编译工具tsc是基于Node.js 开发的。所以在安装过程中,我们先需要对于基础支持工具进行安装。
    2014-07-07
  • 一行命令搞定node.js 版本升级

    一行命令搞定node.js 版本升级

    今天,又发现一个超级简单的升级node.js的方法。一行命令搞定,省去了重新编译安装的过程。
    2014-07-07
  • node.js域名解析实现方法详解

    node.js域名解析实现方法详解

    这篇文章主要介绍了node.js域名解析实现方法,结合实例形式详细分析了node.js使用dns.lookup()及dns.resolve4()进行域名解析的相关操作技巧与注意事项,需要的朋友可以参考下
    2019-11-11
  • Node.js 中的 Buffer缓冲区实例详解

    Node.js 中的 Buffer缓冲区实例详解

    Buffer 是 Node.js 提供的用于处理二进制数据的类,在浏览器中我们可以使用 Blob 或 ArrayBuffer,但 Node 环境下使用 Buffer 更加高效和灵活,本文给大家介绍Node.js 中的 Buffer缓冲区,感兴趣的朋友一起看看吧
    2025-04-04
  • Dapr+NestJs编写Pub及Sub装饰器实战示例

    Dapr+NestJs编写Pub及Sub装饰器实战示例

    这篇文章主要为大家介绍了Dapr+NestJs编写Pub及Sub装饰器的实战示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-08-08
  • Restify中接入Socket.io报Error:Can’t set headers的错误解决

    Restify中接入Socket.io报Error:Can’t set headers的错误解决

    这篇文章主要给大家介绍了在Restify中接入Socket.io报Error:Can’t set headers的错误解决方法,文中介绍的非常详细,对大家具有一定的参考价值,需要的朋友们下面来一起看看吧。
    2017-03-03
  • Nodejs获取网络数据并生成Excel表格

    Nodejs获取网络数据并生成Excel表格

    这篇文章主要为大家详细介绍了Nodejs获取网络数据并生成Excel表格的具体实现方法,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2016-05-05
  • Node.js API详解之 module模块用法实例分析

    Node.js API详解之 module模块用法实例分析

    这篇文章主要介绍了Node.js API详解之 module模块用法,结合实例形式分析了Node.js API中module模块基本功能、原理、用法及操作注意事项,需要的朋友可以参考下
    2020-05-05

最新评论