详解puppeteer使用代理

 更新时间:2018年12月27日 15:17:37   作者:面向未来的历史  
这篇文章主要介绍了详解puppeteer使用代理,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

背景

在使用puppeteer进行访问页面的时候,有时候需要用到代理。

环境: centos 7

chrome 安装

puppeteer使用chrome。 参考chrome的命令行使用方式。 在官网中没看到说明,不过一般的执行文件都是支持help的。
在服务器上安装chrome :

vim /etc/yum.repos.d/google-chrome.repo

添加内容

[google-chrome]
name=google-chrome
baseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearch
enabled=1
gpgcheck=1
gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub

安装浏览器

yum -y install google-chrome-stable

说明: yum search chrome 可以查看供安装的包

chrome 命令行代理

在shell中执行命令:

google-chrome -h

即可看到所有的命令选项,其中 OPTION 下面有代理添加的介绍以及示例:

 --proxy-server=host:port
    Specify the HTTP/SOCKS4/SOCKS5 proxy server to use for requests.
    This overrides any environment variables or settings picked via
    the options dialog. An individual proxy server is specified
    using the format:

    [<proxy-scheme>://]<proxy-host>[:<proxy-port>]

    Where <proxy-scheme> is the protocol of the proxy server, and is
    one of:

    "http", "socks", "socks4", "socks5".

    If the <proxy-scheme> is omitted, it defaults to "http". Also
    note that "socks" is equivalent to "socks5".

    Examples:

    --proxy-server="foopy:99"
     Use the HTTP proxy "foopy:99" to load all URLs.

    --proxy-server="socks://foobar:1080"
     Use the SOCKS v5 proxy "foobar:1080" to load all URLs.

    --proxy-server="socks4://foobar:1080"
     Use the SOCKS v4 proxy "foobar:1080" to load all URLs.

    --proxy-server="socks5://foobar:66"
     Use the SOCKS v5 proxy "foobar:66" to load all URLs.

    It is also possible to specify a separate proxy server for dif‐
    ferent URL types, by prefixing the proxy server specifier with a
    URL specifier:

    Example:

    --proxy-server="https=proxy1:80;http=socks4://baz:1080"
     Load https://* URLs using the HTTP proxy "proxy1:80". And
    load http://*
     URLs using the SOCKS v4 proxy "baz:1080".


  --no-proxy-server
    Disables the proxy server. Overrides any environment variables
    or settings picked via the options dialog.


  --proxy-auto-detect
    Autodetect proxy configuration. Overrides any environment vari‐
    ables or settings picked via the options dialog.


  --proxy-pac-url=URL
    Specify proxy autoconfiguration URL. Overrides any environment
    variables or settings picked via the options dialog.

其中 –proxy-server= 的值的格式是 [<proxy-scheme>://]<proxy-host>[:<proxy-port>]

其中 http 代理是不需要加 proxy-scheme ,以上的示例中显示 socks 代理是需要添加scheme。

比如:

在本机建立一个 socks5 代理服务器, 本地端口是 1088

复制代码 代码如下:
google-chrome --headless --disable-gpu --proxy-server="socks5://127.0.0.1:1088" --print-to-pdf https://www.chromestatus.com/

上面的示例中并没有 需要密码(用户)验证的。

puppeteer 添加代理

在以上命令行中, 代理 option 添加方式是:

--proxy-server="socks5://127.0.0.1:1088"

在 puppeteer 中,启动浏览器时添加代理:

复制代码 代码如下:
const browser = await puppeteer.launch({headless:true, args:['--no-sandbox','--proxy-server=socks5://127.0.0.1:1088']});

具体puppeteer使用参考网上实例。

说明

有关使用账户密码credentials 的代理使用:

1 新建代理
可以在本地新建一个不用密码的代理,该代理访问有密码的代理。 然后puppeteer 中使用该无密码代理

2 页面添加代理
具体使用可以参考: https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md#pageauthenticatecredentials

自己还没使用过.

参考文章:

chrome 安装 https://www.jb51.net/article/153596.htm

puppeteer api 说明 https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md

代理问题 https://github.com/GoogleChrome/puppeteer/issues/336

puppeteer 官方文档 https://pptr.dev/#?product=Puppeteer&version=v1.5.0&show=api-class-page

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • 详解前端任务构建利器Gulp.js使用指南

    详解前端任务构建利器Gulp.js使用指南

    这篇文章主要介绍了前端任务构建利器Gulp.js使用指南,对Gulp.js感兴趣的同学,可以参考下
    2021-04-04
  • Nodejs进阶:如何将图片转成datauri嵌入到网页中去实例

    Nodejs进阶:如何将图片转成datauri嵌入到网页中去实例

    这篇文章主要介绍了Nodejs进阶:如何将图片转成datauri嵌入到网页中去,有兴趣的可以了解一下。
    2016-11-11
  • 基于nodejs+express(4.x+)实现文件上传功能

    基于nodejs+express(4.x+)实现文件上传功能

    通过一段时间的查阅资料发现实现上传的方式有:1.express中间件multer模块2.connect-multiparty模块(但现在 官方不推荐 )3.使用multiparty模块实现4.使用formidable插件实现,本文给大家介绍nodejs+express(4.x+)实现文件上传功能,需要的朋友参考下
    2015-11-11
  • node.js中的url.resolve方法使用说明

    node.js中的url.resolve方法使用说明

    这篇文章主要介绍了node.js中的url.resolve方法使用说明,本文介绍了url.resolve的方法说明、语法、接收参数、使用实例和实现源码,需要的朋友可以参考下
    2014-12-12
  • 在Express中提供静态文件的实现方法

    在Express中提供静态文件的实现方法

    这篇文章主要介绍了在Express中提供静态文件的实现方法,将包含静态资源的目录的名称传递给 express.static 中间件函数,以便开始直接提供这些文件,感兴趣的可以了解一下
    2019-10-10
  • 在Node.js中将SVG图像转换为PNG,JPEG,TIFF,WEBP和HEIF格式的方法

    在Node.js中将SVG图像转换为PNG,JPEG,TIFF,WEBP和HEIF格式的方

    这篇文章主要介绍了在Node.js中将SVG图像转换为PNG,JPEG,TIFF,WEBP和HEIF格式的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-08-08
  • NodeJs crypto加密制作token的实现代码

    NodeJs crypto加密制作token的实现代码

    这篇文章主要介绍了NodeJs crypto加密制作token的实现代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-11-11
  • 详解如何使用node.js的开发框架express创建一个web应用

    详解如何使用node.js的开发框架express创建一个web应用

    这篇文章主要介绍了详解如何使用node.js的开发框架express创建一个web应用,网上各种搜索后,整理了下快速搭建express框架的步骤。非常具有实用价值,需要的朋友可以参考下
    2018-12-12
  • Nodejs实现的操作MongoDB数据库功能完整示例

    Nodejs实现的操作MongoDB数据库功能完整示例

    这篇文章主要介绍了Nodejs实现的操作MongoDB数据库功能,结合完整实例形式分析了nodejs针对MongoDB数据库的连接及增删改查基本操作技巧,需要的朋友可以参考下
    2019-02-02
  • 使用Node.js在深度学习中做图片预处理的方法

    使用Node.js在深度学习中做图片预处理的方法

    这篇文章主要介绍了使用Node.js在深度学习中做图片预处理的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-09-09

最新评论