python简单爬虫--get方式详解

更新时间：2021年09月09日 11:18:27 作者：赵赵要加油啊

本篇文章介绍了python爬虫中get和post方法介绍以及cookie作用，对此有兴趣的朋友学习下，希望能够给你带来帮助

环境准备

安装第三方库

pip install requests
pip install bs4
pip install lxml

进行爬虫

1.获取网页数据。

import requests
from bs4 import BeautifulSoup
url = "https://cn.bing.com/search?q=爬虫CSDN&qs=n&form=QBRE&sp=-1&pq=爬虫csdn&sc=5-6&sk=&cvid=0B13B88D8F444A0182A4A6C36E463179/"
response = requests.get(self.url)

2.解析网页数据

soup = BeautifulSoup(response.text, 'lxml')

3.选取目标数据。此处key 依据源代码目标标题的位置确定。首先进入开发者模式，后查看目标在html中的位置，右击选择“复制selector”，见下图。

在这里插入图片描述

key = "#b_results > li > div.b_title > h2 > a"
soup.select(key)

4.清洗数据

result = {}
for i, item in enumerate(data):
     result.update({
         f'title_{i}': item.get_text(),
         f'url_{i}': item.get('href')
     })
 print(result)

参考

链接:https://www.jb51.net/article/152560.htm

总结

本篇文章就到这里了，希望能够给你带来帮助，也希望您能够多多关注脚本之家的更多内容！

您可能感兴趣的文章:

Python实现excel转sqlite的方法
这篇文章主要介绍了Python实现excel转sqlite的方法,结合实例形式分析了Python基于第三方库xlrd读取Excel文件及写入sqlite的相关操作技巧,需要的朋友可以参考下
2017-07-07
使用Python进行同期群分析(Cohort Analysis)
同期群(Cohort)的字面意思(有共同特点或举止类同的)一群人，比如不同性别，不同年龄。这篇文章主要介绍了用Python语言来进行同期群分析，感兴趣的同学可以阅读参考一下本文
2023-03-03
python之wxPython菜单使用详解
这篇文章主要介绍了python中wxPython菜单使用方法,可实现给弹出菜单项添加图标的功能,在Python程序设计中非常具有实用价值,需要的朋友可以参考下
2014-09-09
Python进程崩溃AttributeError异常问题解决
这篇文章主要介绍了Python进程崩溃(AttributeError异常)问题解决，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下方法
2023-06-06
基于Python制作一个解压的内存加速球
安全管家助手什么的上总会带一个内存加速球,有关掉进程以及内存清理的功能,本文就来利用Python制作一个解压的内存加速球,有需要的小伙伴可以参考下
2023-10-10
python时间整形转标准格式的示例分享
这篇文章主要介绍了python时间整形转标准格式的示例,需要的朋友可以参考下
2014-02-02
python 读写excel文件操作示例【附源码下载】
这篇文章主要介绍了python 读写excel文件操作,结合实例形式分析了Python基于xlutils导入xlrd,xlwt库操作Excel相关实现技巧,并附带源码供读者下载参考,需要的朋友可以参考下
2019-06-06
pandas计数 value_counts()的使用
这篇文章主要介绍了pandas计数 value_counts()的使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-06-06
python Django的显示个人信息详解
这篇文章主要介绍了在Python的Django的显示个人信息方法,需要的朋友可以参考下，希望能够给你带来帮助
2021-09-09
关于 Python opencv 使用中的 ValueError: too many values to unpack
这篇文章主要介绍了关于 Python opencv 使用中的 ValueError: too many values to unpack，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2019-06-06