Python基于BeautifulSoup和requests实现的爬虫功能示例

更新时间：2019年08月02日 11:33:08 作者：郭大侠写leetcode

这篇文章主要介绍了Python基于BeautifulSoup和requests实现的爬虫功能,结合实例形式分析了Python使用BeautifulSoup和requests库爬取网站指定信息的相关操作技巧,需要的朋友可以参考下

本文实例讲述了Python基于BeautifulSoup和requests实现的爬虫功能。分享给大家供大家参考，具体如下：

爬取的目标网页：http://www.qianlima.com/zb/area_305/

这是一个招投标网站，我们使用python脚本爬取红框中的信息，包括链接网址、链接名称、时间等三项内容。

使用到的Python库：BeautifulSoup、requests

代码如下：

# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
url = 'http://www.qianlima.com/zb/area_305/'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
headers = { 'User-Agent' : user_agent}
r = requests.get(url,headers=headers)#连接
content = r.text#获取内容，自动转码unicode
soup = BeautifulSoup(content,"lxml")
tags1 = soup.select('div .shixian_zhaobiao')
tag1 = tags1[0]
tag2 = tag1.find(name = 'dl')
tags2 = tag2.find_all(name = 'a')
tags3 = tag2.find_all(name = 'dd')
for tag in tags2:
 print tag.get('href')
 print tag.string
 print tag.next_element.next_element.string

运行结果如下

更多关于Python相关内容可查看本站专题：《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

您可能感兴趣的文章:

python实现批量转换文件编码(批转换编码示例)
这篇文章主要介绍了python实现批量转换文件编码示例，指定文件编码、目录或扩展名即可进行转换，大家参考使用吧
2014-01-01
Python cookbook（数据结构与算法）在字典中将键映射到多个值上的方法
这篇文章主要介绍了Python在字典中将键映射到多个值上的方法,涉及Python针对字典的相关映射与初始化相关操作技巧,需要的朋友可以参考下
2018-02-02
Python实现遍历windows所有窗口并输出窗口标题的方法
这篇文章主要介绍了Python实现遍历windows所有窗口并输出窗口标题的方法,涉及Python调用及遍历windows窗口句柄的技巧,具有一定参考借鉴价值,需要的朋友可以参考下
2015-03-03
Python利用wxPython实现长文本处理
这篇文章主要为大家详细介绍了Python如何利用wxPython实现长文本处理功能，文中的示例代码讲解详细，感兴趣的小伙伴可以跟随小编一起学习一下
2023-05-05
利用Python实现简单的验证码处理
这篇文章主要介绍了利用Python实现简单的验证码处理，文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下
2022-06-06
Python Poetrya项目依赖管理安装使用详解
这篇文章主要为大家介绍了Python Poetrya项目依赖管理安装使用详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2023-11-11
Python中元组解构的技巧详解
在Python中,元组（tuple）是一种常用的数据结构,元组的解构是一项强大的特性,快速、方便地将元组中的值分配给多个变量,下面我们就来学习一下Python中元组解构的技巧吧
2024-01-01
深度解析Django REST Framework 批量操作
这篇文章主要介绍了深度解析Django REST Framework批量操作，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-05-05
简单聊聊Python中的鸭子类型和猴子补丁
不知不觉使用python写代码已经很长时间了,下面这篇文章主要给大家介绍了关于python鸭子类型(duck type)和猴子补丁(mokey patching)的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下
2022-04-04
django 捕获异常和日志系统过程详解
这篇文章主要介绍了django-捕获异常和日志系统过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-07-07