requests.gPython 用requests.get获取网页内容为空 ’ ’问题
更新时间：2022年01月26日 09:09:29 作者：你隔壁的小王
这篇文章主要介绍了requests.gPython 用requests.get获取网页内容为空 ’ ’，温行首先举例说明，具有一定得参考价值，需要的小伙伴可以参考一下
下面先来看一个例子：
import requests
result=requests.get("http://data.10jqka.com.cn/financial/yjyg/")
result输出结果：
继续运行，发现返回空值，在请求网页爬取的时候，输出的text信息中会出现抱歉，无法访问等字眼，这就是禁止爬取，需要通过反爬机制去解决这个问题。headers是解决requests请求反爬的方法之一，相当于我们进去这个网页的服务器本身，假装自己本身在爬取数据。对反爬虫网页，可以设置一些headers信息，模拟成浏览器取访问网站 。
一、如何设置headers
拿两个常用的浏览器举例：
1、QQ浏览器
界面 F12
点击network 键入 CTRL+R
单击第一个 最下边就是我门需要的 把他设置成headers解决问题
2、Miscrosft edge
二、微软自带浏览器
同样 F12 打开开发者工具
点击网络，CTRL+R
前文代码修改：
import requests
ur="http://data.10jqka.com.cn/financial/yjyg/"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3880.400 QQBrowser/10.8.4554.400 '}
result = requests.get(ur, headers=headers)
result.text成功解决不能爬取问题
到此这篇关于requests.gPython 用requests.get获取网页内容为空 ’ ’的文章就介绍到这了,更多相关requests.gPython 用requests.get获取网页内容为空 ’ ’内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
python数据可视化JupyterLab实用扩展程序Mito
这篇文章主要为大家介绍了python数据可视化JupyterLab实用扩展程序Mito的功能应用示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助2021-11-11
argcomplete 是一个强大的Python库,可以大幅改善命令行应用程序的用户体验,本文主要介绍了argcomplete模块的相关用法,感兴趣的小伙伴可以了解下2023-11-11
这篇文章主要介绍了Python matplotlib学习笔记之坐标轴范围，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-06-06
这篇文章主要介绍了Python3 循环语句,本文将详细介绍Python3中的循环语句，给出各种循环的使用示例，以及运行结果的解释，需要的朋友可以参考下2023-04-04
这篇文章主要推荐了一些好用的Python库，都有这不错的群众基础，非常好用，也都很实用，推荐给大家，希望能够给你带来帮助2021-09-09
私有函数与私有变量中的私有就是独自拥有、不公开、不分享的意思。放到函数与变量中就是独自拥有的函数与独自拥有的变量，并且不公开。本文将通过示例详细讲解Python中的私有函数、私有变量及封装，感兴趣的可以学习一下2022-03-03
这篇文章主要介绍了Python中的默认参数详解,本文讲解了默认参数的基本原理、如何正确地使用可变参数等内容,需要的朋友可以参考下2015-06-06
Prometheus是一套开源监控系统和告警为一体，由go语言(golang)开发，是监控+报警+时间序列数据库的组合。本文将介绍Python如何调用Prometheus实现数据的监控与计算，需要的可以参考一下2021-12-12
这篇文章主要介绍了python实现秒杀商品的微信自动提醒功能，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2020-04-04
numpy数组做图片拼接的实现（concatenate、vstack、hstack）
这篇文章主要介绍了numpy数组做图片拼接的实现（concatenate、vstack、hstack），文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-11-11
最新评论