脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python BeautifulSoup和requests实现的爬虫功能

Python基于BeautifulSoup和requests实现的爬虫功能示例

 更新时间：2019年08月02日 11:33:08   作者：郭大侠写leetcode  
这篇文章主要介绍了Python基于BeautifulSoup和requests实现的爬虫功能,结合实例形式分析了Python使用BeautifulSoup和requests库爬取网站指定信息的相关操作技巧,需要的朋友可以参考下

本文实例讲述了Python基于BeautifulSoup和requests实现的爬虫功能。分享给大家供大家参考，具体如下：

爬取的目标网页：http://www.qianlima.com/zb/area_305/

这是一个招投标网站，我们使用python脚本爬取红框中的信息，包括链接网址、链接名称、时间等三项内容。

使用到的Python库：BeautifulSoup、requests

代码如下：

# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
url = 'http://www.qianlima.com/zb/area_305/'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
headers = { 'User-Agent' : user_agent}
r = requests.get(url,headers=headers)#连接
content = r.text#获取内容，自动转码unicode
soup = BeautifulSoup(content,"lxml")
tags1 = soup.select('div .shixian_zhaobiao')
tag1 = tags1[0]
tag2 = tag1.find(name = 'dl')
tags2 = tag2.find_all(name = 'a')
tags3 = tag2.find_all(name = 'dd')
for tag in tags2:
 print tag.get('href')
 print tag.string
 print tag.next_element.next_element.string

运行结果如下

更多关于Python相关内容可查看本站专题：《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

您可能感兴趣的文章:

相关文章

  • Python 函数编编程的三大法宝map+filter+reduce分享

    Python 函数编编程的三大法宝map+filter+reduce分享

    这篇文章主要介绍了Python 函数编编程的三大法宝map,filter,reduce的分享,python利用 map 在一个可迭代对象的各项上调用函数的工具;利用 filter 来过滤项;利用 reduce 把函数作用在成对的项上来运行结果的工具,下面我们就来对这三者进行详细的介绍,需要的朋友可以参考下
    2022-03-03
  • Python 用三行代码提取PDF表格数据

    Python 用三行代码提取PDF表格数据

    这篇文章主要介绍了Python 用三行代码提取PDF表格数据,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-10-10
  • python框架django项目部署相关知识详解

    python框架django项目部署相关知识详解

    这篇文章主要介绍了python框架django项目部署相关知识详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-11-11
  • 使用python创建生成动态链接库dll的方法

    使用python创建生成动态链接库dll的方法

    这篇文章主要介绍了使用python创建生成动态链接库dll的方法，本文通过示例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-05-05
  • python使用递归实现斐波那契数列的示例详解

    python使用递归实现斐波那契数列的示例详解

    这篇文章主要给大家介绍了python使用递归实现斐波那契数列的示例,文中通过示例代码介绍的非常详细,对大家的学习或者使用Python具有一定的参考学习价值,需要的朋友们下面来一起来学习吧
    2024-01-01
  • Python中的index()方法使用教程

    Python中的index()方法使用教程

    这篇文章主要介绍了Python中的index()方法使用教程,是Python入门学习中的基础知识,需要的朋友可以参考下
    2015-05-05
  • python采集微信公众号文章

    python采集微信公众号文章

    这篇文章主要为大家详细介绍了python采集微信公众号文章的方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2018-12-12
  • Python基本数据结构与用法详解【列表、元组、集合、字典】

    Python基本数据结构与用法详解【列表、元组、集合、字典】

    这篇文章主要介绍了Python基本数据结构与用法,结合实例形式分析了Python基本数据结构中的列表、元组、集合、字典相关概念、使用方法及推导式、遍历等相关使用技巧,需要的朋友可以参考下
    2019-03-03
  • Python通过dxfgrabber库实现获取CAD信息

    Python通过dxfgrabber库实现获取CAD信息

    dxfgrabber 是一个 Python 库，用于读取和解析 AutoCAD DXF（Drawing Exchange Format）文件，本文就来教教大家如何利用dxfgrabber库实现获取CAD信息吧
    2023-06-06
  • python中itertools模块使用小结

    python中itertools模块使用小结

    itertools 是python的迭代器模块，itertools提供的生成迭代器的函数，相当高效且节省内存。使用这些工具，你将能够创建自己定制的迭代器用于高效率的循环。接下来通过本文给大家介绍python中itertools模块使用，感兴趣的朋友一起看看吧
    2021-11-11

最新评论