Python使用requests及BeautifulSoup构建爬虫实例代码
更新时间：2018年01月24日 11:11:13 作者：sober_qianyang
这篇文章主要介绍了Python使用requests及BeautifulSoup构建爬虫，介绍了具体操作步骤和实例代码等相关内容，小编觉得还是挺不错的，这里分享给大家，需要的朋友可以参考下
本文研究的主要是Python使用requests及BeautifulSoup构建一个网络爬虫，具体步骤如下。
功能说明
在Python下面可使用requests模块请求某个url获取响应的html文件，接着使用BeautifulSoup解析某个html。
案例
假设我要http://maoyan.com/board/4猫眼电影的top100电影的相关信息，如下截图：
获取电影的标题及url。
安装requests和BeautifulSoup
使用pip工具安装这两个工具。
pip install requests
pip install beautifulsoup4
程序
__author__ = 'Qian Yang'
# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
def get_one_page(url):
response= requests.get(url)
if response.status_code == 200:
return response.content.decode("utf8","ignore").encode("gbk","ignore")
#采用BeautifulSoup解析
def bs4_paraser(html):
all_value = []
value = {}
soup = BeautifulSoup(html,'html.parser')
# 获取每一个电影
all_div_item = soup.find_all('div', attrs={'class': 'movie-item-info'})
for r in all_div_item:
# 获取电影的名称和url
title = r.find_all(name="p",attrs={"class":"name"})[0].string
movie_url = r.find_all('p', attrs={'class': 'name'})[0].a['href']
value['title'] = title
value['movie_url'] = movie_url
all_value.append(value)
value = {}
return all_value
def main():
url = 'http://maoyan.com/board/4'
html = get_one_page(url)
all_value = bs4_paraser(html)
print(all_value)
if __name__ == '__main__':
main()
代码测试可用，实现效果：
总结
以上就是本文关于Python使用requests及BeautifulSoup构建爬虫实例代码的全部内容，希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题，如有不足之处，欢迎留言指出。感谢朋友们对本站的支持！
相关文章
这篇文章将给大家介绍了如何用 Python 实现一个 “系统声音” 的实时律动挂件,采集后直接实时地在电脑上绘制波形动画,主要是用来作为 FL Studio 播放时的一个桌面小挂件,文中有相关的代码示例供大家参考,需要的朋友可以参考下2024-01-01
本文主要介绍了django报错设置auth User的解决，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-07-07
这篇文章主要介绍了Python面向对象之类和对象属性的增删改查操作,结合实例形式分析了Python面向对象相关的类与对象属性常见操作技巧,需要的朋友可以参考下2018-12-12
这篇文章主要介绍了上手简单,功能强大的Python爬虫框架——feapder的使用教程，帮助大家更好的利用python进行爬虫，感兴趣的朋友可以了解下2021-04-04
这篇文章主要介绍了python pandas中的agg函数用法，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-05-05
PyMySQL是一个用于Python编程语言的纯Python MySQL客户端库，它遵循Python标准DB API接口，并提供了许多方便的功能，本文就来和大家简单介绍一下吧2023-05-05
这篇文章主要介绍了利用python OpenCV去除视频水印，下面我们将利用视频的某一帧将图片的一些污点去掉，代码先从视频中导出一帧图片，然后统计需要删除按钮的坐标位置，然后再对视频中的每一帧图像做处理的函数,下面操作过程需要的小伙伴可以参考一下2022-02-02
在用python做一个比较复杂的小项目,需要根据不同的输入,控制摄像头采集执行不同的任务.虽然用流程方式实现了,但阅读起来费劲,还容易出错.所以就用了状态机,需要的朋友可以参考下2021-06-06
这篇文章主要介绍了selenium+python设置爬虫代理IP的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2018-11-11
本文主要为大家介绍了给图片添加文字或者logo图片水印的python工具，从而打造你的专属图片。代码简洁易懂，感兴趣的小伙伴可以了解一下2021-11-11
最新评论