脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → BeautifulSoup 爬取网页数据

从零开始学习Python与BeautifulSoup网页数据抓取

 更新时间：2024年01月28日 10:33:03   作者：程序员晓晓  
想要从零开始学习Python和BeautifulSoup网页数据抓取？本指南将为你提供简单易懂的指导,让你掌握这两个强大的工具,不管你是初学者还是有经验的开发者,本指南都能帮助你快速入门并提升技能,不要错过这个机会,开始你的编程之旅吧！

在网络时代，数据是最宝贵的资源之一。而爬虫技术就是一种获取数据的重要手段。Python 作为一门高效、易学、易用的编程语言，自然成为了爬虫技术的首选语言之一。而 BeautifulSoup 则是 Python 中最常用的爬虫库之一，它能够帮助我们快速、简单地解析 HTML 和 XML 文档，从而提取出我们需要的数据。

本文将介绍如何使用 BeautifulSoup 爬取网页数据，并提供详细的代码和注释，帮助读者快速上手。

安装 BeautifulSoup

在开始之前，我们需要先安装 BeautifulSoup。可以使用 pip 命令进行安装：

pip install beautifulsoup4

爬取网页数据

在本文中，我们将以爬取豆瓣电影 Top250 为例，介绍如何使用 BeautifulSoup 爬取网页数据。

首先，我们需要导入必要的库：

import requests
from bs4 import BeautifulSoup

然后，我们需要获取网页的 HTML 代码。可以使用 requests 库中的 get() 方法来获取网页：

url = 'https://movie.douban.com/top250'
response = requests.get(url)
html = response.text

接下来，我们需要使用 BeautifulSoup 解析 HTML 代码。可以使用 BeautifulSoup 的构造方法来创建一个 BeautifulSoup 对象：

soup = BeautifulSoup(html, 'html.parser')

这里我们使用了 ‘html.parser’ 作为解析器，也可以使用其他解析器，如 lxml、html5lib 等。

现在，我们已经成功地将网页的 HTML 代码解析成了一个 BeautifulSoup 对象。接下来，我们可以使用 BeautifulSoup 对象中的方法来提取我们需要的数据。

提取数据

在豆瓣电影 Top250 页面中，每个电影都包含了电影名称、导演、演员、评分等信息。我们可以使用 BeautifulSoup 提供的 find()、find_all() 等方法来提取这些信息。

首先，我们需要找到包含电影信息的 HTML 元素。可以使用浏览器的开发者工具来查看网页的 HTML 代码，找到对应的元素。在豆瓣电影 Top250 页面中，每个电影都包含在一个 class 为 ‘item’ 的 div 元素中：

<div class="item">
  <div class="pic">
    <em class="">1</em>
    <a href="https://movie.douban.com/subject/1292052/">
      <img src="https://img9.doubanio.com/view/photo/s_ratio_poster/public/p480747492.jpg" class="" />
    </a>
  </div>
  <div class="info">
    <div class="hd">
      <a href="https://movie.douban.com/subject/1292052/" class="">
        <span class="title">肖申克的救赎</span>
        <span class="title">&nbsp;/&nbsp;The Shawshank Redemption</span>
        <span class="other">&nbsp;/&nbsp;月黑高飞(港)  /  刺激1995(台)</span>
      </a>
      <span class="playable">[可播放]</span>
    </div>
    <div class="bd">
      <p class="">
        导演: 弗兰克·德拉邦特 Frank Darabont&nbsp;&nbsp;&nbsp;主演: 蒂姆·罗宾斯 Tim Robbins /...<br />
        1994&nbsp;/&nbsp;美国&nbsp;/&nbsp;犯罪 剧情
      </p>
      <div class="star">
        <span class="rating5-t"></span>
        <span class="rating_num" property="v:average">9.7</span>
        <span property="v:best" content="10.0"></span>
        <span>1057904人评价</span>
      </div>
      <p class="quote">
        <span class="inq">希望让人自由。</span>
      </p>
    </div>
  </div>
</div>

我们可以使用 find_all() 方法来找到所有 class 为 ‘item’ 的 div 元素：

items = soup.find_all('div', class_='item')

这里我们使用了 class_ 参数来指定 class 属性，因为 class 是 Python 中的关键字。

现在，我们已经成功地找到了所有电影的 HTML 元素。接下来，我们可以使用 BeautifulSoup 对象中的方法来提取电影信息。

例如，我们可以使用 find() 方法来找到电影名称所在的 HTML 元素：

title = item.find('span', class_='title').text

这里我们使用了 text 属性来获取 HTML 元素的文本内容。

类似地，我们可以使用其他方法来提取导演、演员、评分等信息。完整的代码如下：

import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/top250'
response = requests.get(url)
html = response.text
soup = BeautifulSoup(html, 'html.parser')
items = soup.find_all('div', class_='item')
for item in items:
    title = item.find('span', class_='title').text
    director = item.find('div', class_='bd').p.text.split()[1]
    actors = item.find('div', class_='bd').p.text.split()[2:]
    rating = item.find('span', class_='rating_num').text
    print('电影名称：', title)
    print('导演：', director)
    print('演员：', ' '.join(actors))
    print('评分：', rating)
    print('------------------------')

总结

本文介绍了如何使用 BeautifulSoup 爬取网页数据，并提供了详细的代码和注释。通过本文的学习，读者可以掌握如何使用 BeautifulSoup 解析 HTML 和 XML 文档，从而提取出需要的数据。同时，读者也可以将本文中的代码应用到其他网页数据的爬取中。

到此这篇关于从零开始学习Python与BeautifulSoup网页数据抓取的文章就介绍到这了,更多相关BeautifulSoup 爬取网页数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • python numpy中mat和matrix的区别

    python numpy中mat和matrix的区别

    这篇文章主要介绍了python numpy中mat和matrix的区别，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-03-03
  • 如何解决Keras载入mnist数据集出错的问题

    如何解决Keras载入mnist数据集出错的问题

    这篇文章主要介绍了解决Keras载入mnist数据集出错的问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2021-05-05
  • pandas中merge()函数的用法解读

    pandas中merge()函数的用法解读

    这篇文章主要介绍了pandas中merge()函数的用法解读，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2022-11-11
  • tensorflow卷积神经Inception V3网络结构代码解析

    tensorflow卷积神经Inception V3网络结构代码解析

    这篇文章主要为大家介绍了卷积神经Inception V3网络结构代码解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-05-05
  • 利用python实现汉字转拼音的2种方法

    利用python实现汉字转拼音的2种方法

    这篇文章主要给大家介绍了关于如何利用python实现汉字转拼音的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用python具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
    2019-08-08
  • Python装饰器语法糖

    Python装饰器语法糖

    今天小编就为大家分享一篇关于Python装饰器语法糖，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
    2019-01-01
  • pandas中Timestamp类用法详解

    pandas中Timestamp类用法详解

    这篇文章主要为大家详细介绍了pandas中Timestamp类用法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2017-12-12
  • Django中数据库的数据关系:一对一,一对多,多对多

    Django中数据库的数据关系:一对一,一对多,多对多

    今天小编就为大家分享一篇关于Django中数据库的数据关系:一对一,一对多,多对多，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
    2018-10-10
  • 使用Python爬虫库BeautifulSoup遍历文档树并对标签进行操作详解

    使用Python爬虫库BeautifulSoup遍历文档树并对标签进行操作详解

    今天为大家介绍下Python爬虫库BeautifulSoup遍历文档树并对标签进行操作的详细方法与函数
    2020-01-01
  • Python MySQLdb Linux下安装笔记

    Python MySQLdb Linux下安装笔记

    这篇文章主要介绍了Python MySQLdb Linux下安装笔记,本文分别讲解了快速安装和手动编译安装两种方法,并分别讲解了操作步骤,需要的朋友可以参考下
    2015-05-05

最新评论