node puppeteer爬虫爬取电影网站及生成pdf文档示例

 更新时间:2023年07月24日 09:05:52   作者:小小蚊子  
这篇文章主要介绍了node puppeteer爬虫爬取电影网站及生成pdf文档使用示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

引言

利用空闲时间,学习了下puppeteer爬虫,我也想爬取下网上的资源

部分api

  • puppeteer.launch(options)
参数名称参数类型参数说明
ignoreHTTPSErrorsboolean在请求的过程中是否忽略 Https 报错信息,默认为 false
headlessboolean是否以“无头”的模式运行chrome,也就是不显示UI,默认为true
executablePathstring可执行文件的路径,Puppeteer 默认是使用它自带的 chrome webdriver, 如果你想指定一个自己的 webdriver 路径,可以通过这个参数设置
slowMonumber使 Puppeteer 操作减速,单位是毫秒。如果你想看看 Puppeteer 的整个工作过程,这个参数将非常有用
argsArray(String)传递给 chrome 实例的其他参数,比如你可以设置浏览器窗口大小具体参数
timeoutnumber等待chrome实例启动的最长时间,默认是3000ms,如果传入0,则不限制时间
dumpioboolean是否将浏览器锦程stdout和stderr导入到process.stdout和process.stderr中,默认为false
userDataDirstring设置用户数据目录,默认linux是在~/.config目录,window 默认在 C:Users{USER}AppDataLocalGoogleChromeUser Data, 其中 {USER} 代表当前登录的用户名
envObject指定对chromium可见的环境变量,默认为process.env
devtoolsboolean是否为每个选项卡自动打开DevTools面板,这个选项只有当headless设置为false的时候有效

设置浏览器窗口大小具体参数

browser对象

api

方法名说明
browser.close()返回一个promise对象,用于关闭浏览器
browser.newPage()返回一个promise对象,创建一个page实例

page对象

方法名说明
page.goto(url[, options])返回一个promise对象,url是目标链接
page.waitForSelector()等待某个选择器的元素加载之后,这个元素可以是异步加载的
page.evaluate(pageFunction[,args])返回一个可序列化的普通对象,pageFunction 表示要在页面执行的函数, args 表示传入给 pageFunction 的参数

爬取电影网站

const puppeteer = require('puppeteer');
/* 爬虫的目标链接地址: 豆瓣电影 */
const url = `https://movie.douban.com/tag/#/?sort=R&range=0,10&tags=`;
const sleep = time => new Promise(resolve => {
  setTimeout(resolve, time);
});
(async () => {
  console.log('crawler start to visit the target address');
  /* dumpio 是否将浏览器进程stdout和stderr导入到process.stdout和process.stderr中 */
  const browser = await puppeteer.launch({
    args: ['--no-sandbox'],
    dumpio: false
  });
  const page = await browser.newPage();
  await page.goto(url, {
    waitUntil: 'networkidle2'
  });
  await sleep(3000);
  await page.waitForSelector('.more');
  for(let i = 0; i < 1; i++) {
    await sleep(3000);
    await page.click('.more');
  }
  const result = await page.evaluate(() => {
    let $ = window.$;
    let nodeItems = $('.list-wp a');
    let links = [];
    /* 获取对应的元素节点 */
    if(nodeItems.length >= 1) {
      nodeItems.each((index, item) => {
        let elem = $(item);
        let movieId = elem.find('div').data('id');
        let title = elem.find('.title').text();
        let rate = Number(elem.find('.rate').text());
        let poster = elem.find('img').attr('src').replace('s_ratio_poster','l_ratio_poster');
        links.push({
          movieId,
          title,
          rate,
          poster,
        })
      })
    }
    return links;
  });
  browser.close();
  console.log(result)
})();

爬取网站内容生成pdf文件

const puppeteer = require('puppeteer');
const url = 'https://cn.vuejs.org/v2/guide/';
(async () => {
    const browser = await puppeteer.launch();
    const page = await browser.newPage();
    await page.goto(url, { waitUntil: 'networkidle0' });
    /* 选择你要输出的那个PDF文件路径,把爬取到的内容输出到PDF中,必须是存在的PDF,可以是空内容,如果不是空的内容PDF,那么会覆盖内容 */
    let pdfFilePath = './index.pdf';
    /* 根据你的配置选项,我们这里选择A4纸的规格输出PDF,方便打印 */
    await page.pdf({
        path: pdfFilePath,
        format: 'A4',
        scale: 1,
        printBackground: true,
        landscape: false,
        displayHeaderFooter: false
    });
    browser.close();
})()

 正在努力学习中,希望你的学习有帮助

以上就是node puppeteer爬虫爬取电影网站及生成pdf文档示例的详细内容,更多关于node puppeteer爬虫爬取的资料请关注脚本之家其它相关文章!

相关文章

  • 基于Node.js的http模块搭建HTTP服务器

    基于Node.js的http模块搭建HTTP服务器

    这篇文章主要为大家介绍了基于Node.js的http模块来搭建HTTP服务器的示例过程详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步
    2022-02-02
  • Node.js实现连接mysql数据库功能示例

    Node.js实现连接mysql数据库功能示例

    这篇文章主要介绍了Node.js实现连接mysql数据库功能,简单分析了nodejs连接数据库的操作步骤与相关实现技巧,需要的朋友可以参考下
    2017-09-09
  • node.js自动上传ftp的脚本分享

    node.js自动上传ftp的脚本分享

    这篇文章主要给大家介绍了一个关于node.js自动上传ftp脚本的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考借鉴,下面随着小编来一起学习学习吧
    2018-06-06
  • nodejs socket实现的服务端和客户端功能示例

    nodejs socket实现的服务端和客户端功能示例

    这篇文章主要介绍了nodejs socket实现的服务端和客户端功能,结合具体实例形式分析了nodejs基于socket通信实现的服务端与客户端功能相关操作技巧,需要的朋友可以参考下
    2017-06-06
  • Node实战之不同环境下配置文件使用教程

    Node实战之不同环境下配置文件使用教程

    这篇文章主要给大家介绍了关于Node实战之不同环境下配置文件使用的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧。
    2018-01-01
  • 如何降低node版本,怎样实现降低node版本

    如何降低node版本,怎样实现降低node版本

    这篇文章主要介绍了如何降低node版本,怎样降低node版本问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-07-07
  • node.js不得不说的12点内容

    node.js不得不说的12点内容

    本文主要是分享下,个人对node.js的一些认识和理解,希望对大家有所帮助
    2014-07-07
  • node.js微信公众平台开发教程

    node.js微信公众平台开发教程

    这篇文章主要为大家分享了node.js微信公众平台开发教程,如何进行微信开发,感兴趣的小伙伴们可以参考一下
    2016-03-03
  • nodejs服务内存泄露排查过程和优化方法

    nodejs服务内存泄露排查过程和优化方法

    在开发和部署Node.js应用程序时,内存泄露是一个常见的挑战,本文将探讨如何对于一个陌生项目进行内存排查和优化的方法,文章通过图文介绍的非常详细,需要的朋友可以参考下
    2023-11-11
  • Node server生成Swagger接口文档步骤详解

    Node server生成Swagger接口文档步骤详解

    本文介绍使用NodeJs搭建的后端server快速生成Swagger接口文档的技巧,本文有详细的步骤讲解,通过代码示例给大家介绍的非常详细,具有一定的参考价值,需要的朋友可以参考下
    2024-01-01

最新评论