Python爬取YY评级分数并保存数据实现过程解析
更新时间：2020年06月01日 10:05:56 作者：其实还好啦
这篇文章主要介绍了Python爬取YY评级分数并保存数据实现过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
前言
当需要进行大规模查询时（比如目前遇到的情形：查询某个省所有发债企业的YY评级分数），人工查询显然太过费时，那就写个爬虫吧。
由于该爬虫实在过于简单，就只简单概述下。
一、请求端
通过观察YY评级的网页信息，如下图（F12或右击进入检查，点击network—>XHR—>headers）。
红色框表明是个get请求（其实这种网页基本都是Ajax get，需要总结实际url的规律的）。
绿色框即为实际URL，通过分析该URL，其由两部分组成。前半部分为“
https://web.ratingdog.cn/v1/search?”，后半部分为黄色框内内容用“&”符号连接后的结果。黄色框内的内容，只有企业名称为变量，且为已知变量，那URL即可据此确定了。
另外需注意，YY评级需要登录才可查询数据，在构建头部信息进行访问时，一定要提前登录，并在头部信息中放入登录信息和登录状态。
二、响应端
通过观察网页的响应信息（F12或右击进入检查，点击network—>XHR—>response），如下图。响应信息及其简单，我们所需要的YY评级分数安详地躺在那里，简单到一个正则表达式就可以提取出该数据。正则如下：
"msg".*?"IssuerName":"(.*?)","YYRating":"(.*?)/10","IntrinsicRating".*?"
三、代码
所需数据较少，代码相对简单，就不建立函数了，直接一路到底吧。如下：
运行代码后，得到结果如下。安徽省的100多条数据，就到了本地了
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python getattr()函数使用方法代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-08-08
本文主要介绍了Python读写二进制文件的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-04-04
这篇文章主要为大家详细介绍了如何通过Python编写屏幕网格生成工具,可以定期绘制一个透明的网格,感兴趣的小伙伴可以跟随小编一起学习一下2024-12-12
这篇文章主要介绍了python正则表达式中的括号匹配问题,需要的朋友可以参考下2014-12-12
pytorch中.numpy()、.item()、.cpu()、.detach()以及.data的使用方法
这篇文章主要给大家介绍了关于pytorch中.numpy()、.item()、.cpu()、.detach()以及.data的使用方法,文中通过实例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2022-08-08
在本篇文章里小编给大家整理的是一篇关于Python中if有多个条件处理方法，需要的朋友们可以学习参考下。2020-02-02
这篇文章主要介绍了Django如何简单快速实现PUT、DELETE方法,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-07-07
在NumPy中，矩阵是ndarray的子类，与数学概念中的矩阵一样，NumPy中的矩阵也是二维的，可以使用 mat 、 matrix 以及 bmat 函数来创建矩阵。本文将详细讲解NumPy中矩阵和通用函数的使用，感兴趣的可以了解一下2022-06-06
这篇文章主要介绍了Python集合操作方法详解,需要的朋友可以参考下2020-02-02
这篇文章主要介绍了Python对List中的元素排序 ,需要的朋友可以参考下2018-04-04
最新评论