Python3爬虫中关于Ajax分析方法的总结

 更新时间:2020年07月10日 14:55:12   作者:爱喝马黛茶的安东尼  
在本篇文章里小编给大家整理的是一篇关于Python3爬虫中关于Ajax分析方法的总结,需要的朋友们可以学习下。

这里还以前面的微博为例,我们知道拖动刷新的内容由Ajax加载,而且页面的URL没有变化,那么应该到哪里去查看这些Ajax请求呢?

1. 查看请求

这里还需要借助浏览器的开发者工具,下面以Chrome浏览器为例来介绍。

首先,用Chrome浏览器打开微博的链接https://m.weibo.cn/u/2830678474,随后在页面中点击鼠标右键,从弹出的快捷菜单中选择“检查”选项,此时便会弹出开发者工具,如图6-2所示:

8ede1554a18ea57eb8b3e0a9e1ea268.png

此时在Elements选项卡中便会观察到网页的源代码,右侧便是节点的样式。

不过这不是我们想要寻找的内容。切换到Network选项卡,随后重新刷新页面,可以发现这里出现了非常多的条目,如图6-3所示。

7347cacb4cf036fd1e2539e6b37252a.png

前面也提到过,这里其实就是在页面加载过程中浏览器与服务器之间发送请求和接收响应的所有记录。

Ajax其实有其特殊的请求类型,它叫作xhr。在图6-3中,我们可以发现一个名称以getIndex开头的请求,其Type为xhr,这就是一个Ajax请求。用鼠标点击这个请求,可以查看这个请求的详细信息,如图6-4所示。

6b76cca50287683be4a2270b47d9f25.png

在右侧可以观察到其Request Headers、URL和Response Headers等信息。其中Request Headers中有一个信息为X-Requested-With:XMLHttpRequest,这就标记了此请求是Ajax请求,如图6-5所示。

ae9d01347dfabd89687948505e01de1.png

随后点击一下Preview,即可看到响应的内容,它是JSON格式的。这里Chrome为我们自动做了解析,点击箭头即可展开和收起相应内容,如图6-6所示。

3ac72172652c9cf4262ba6362dfc3dd.png

观察可以发现,这里的返回结果是我的个人信息,如昵称、简介、头像等,这也是用来渲染个人主页所使用的数据。JavaScript接收到这些数据之后,再执行相应的渲染方法,整个页面就渲染出来了。

另外,也可以切换到Response选项卡,从中观察到真实的返回数据,如图6-7所示。

48e0d6b7d27a5198f94a7479dcefe42.png

接下来,切回到第一个请求,观察一下它的Response是什么,如图6-8所示。

841bc2e8347423785a041f30bba932b.png

这是最原始的链接https://m.weibo.cn/u/2830678474返回的结果,其代码只有不到50行,结构也非常简单,只是执行了一些JavaScript。

所以说,我们看到的微博页面的真实数据并不是最原始的页面返回的,而是后来执行JavaScript后再次向后台发送了Ajax请求,浏览器拿到数据后再进一步渲染出来的。

2. 过滤请求

接下来,再利用Chrome开发者工具的筛选功能筛选出所有的Ajax请求。在请求的上方有一层筛选栏,直接点击XHR,此时在下方显示的所有请求便都是Ajax请求了,如图6-9所示。

7146e82314367f4e8e5dd3665ae9387.png

接下来,不断滑动页面,可以看到页面底部有一条条新的微博被刷出,而开发者工具下方也一个个地出现Ajax请求,这样我们就可以捕获到所有的Ajax请求了。

随意点开一个条目,都可以清楚地看到其Request URL、Request Headers、Response Headers、Response Body等内容,此时想要模拟请求和提取就非常简单了。

图6-10所示的内容便是我的某一页微博的列表信息。

35287876f572b5d14186d70da5f3730.png

到现在为止,我们已经可以分析出来Ajax请求的一些详细信息了,接下来只需要用程序模拟这些Ajax请求,就可以轻松提取我们所需要的信息了。

在下一节中,我们用Python实现Ajax请求的模拟,从而实现数据的抓取。

以上就是Python3爬虫中关于Ajax分析方法的总结的详细内容,更多关于Python3爬虫里Ajax分析方法的资料请关注脚本之家其它相关文章!

您可能感兴趣的文章:

相关文章

  • Python从单元素字典中获取key和value的实例

    Python从单元素字典中获取key和value的实例

    今天小编就为大家分享一篇Python从单元素字典中获取key和value的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • python 进程 进程池 进程间通信实现解析

    python 进程 进程池 进程间通信实现解析

    这篇文章主要介绍了python 进程 进程池 进程间通信实现解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-08-08
  • Python图像处理之图像的读取、显示与保存操作【测试可用】

    Python图像处理之图像的读取、显示与保存操作【测试可用】

    这篇文章主要介绍了Python图像处理之图像的读取、显示与保存操作,结合实例形式分析了Python使用PIL模块、scipy和matplotlib模块进行图像读写、显示等相关操作技巧,需要的朋友可以参考下
    2019-01-01
  • Python的PIL库中getpixel方法的使用

    Python的PIL库中getpixel方法的使用

    这篇文章主要介绍了Python的PIL库中getpixel方法的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-04-04
  • python2与python3中关于对NaN类型数据的判断和转换方法

    python2与python3中关于对NaN类型数据的判断和转换方法

    今天小编就为大家分享一篇python2与python3中关于对NaN类型数据的判断和转换方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-10-10
  • Python2.6版本pip安装步骤解析

    Python2.6版本pip安装步骤解析

    这篇文章主要介绍了Python2.6版本pip安装步骤解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-08-08
  • python getpass实现密文实例详解

    python getpass实现密文实例详解

    这篇文章主要介绍了python getpass实现密文实例详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-09-09
  • 利用Python实现颜色色值转换的小工具

    利用Python实现颜色色值转换的小工具

    最近一个朋友说已经转用Zeplin很久了。Zeplin的设计稿展示页面的颜色色值使用十进制的 RGB 表示的,在 Android 中的颜色表示大多情况下都需要十六进制的 RGB 表示。所以想写个工作,当输入十进制的RGB ,得到十六进制的色值,最好可以方便复制。下面来一起看看吧。
    2016-10-10
  • python3 自动打印出最新版本执行的mysql2redis实例

    python3 自动打印出最新版本执行的mysql2redis实例

    这篇文章主要介绍了python3 自动打印出最新版本执行的mysql2redis实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-04-04
  • Python中的exec、eval使用实例

    Python中的exec、eval使用实例

    这篇文章主要介绍了Python中的exec、eval使用实例,本文以简洁的方式总结了Python中的exec、eval作用,并给出实例,需要的朋友可以参考下
    2014-09-09

最新评论