脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python获取甲流分布数据

通过python获取甲流分布数据

 更新时间：2023年03月03日 10:03:01   作者：小白学大数据  
近期，多地学校出现因甲流导致的班级停课，儿科甲流患者就诊量呈数倍增长，今天我们同样的操作来获取下现在甲流感染的数据,需要的朋友可以参考下

近期，多地学校出现因甲流导致的班级停课，儿科甲流患者就诊量呈数倍增长。此轮甲流为何如此严重？感染甲流之后会出现哪些症状

经过专家的介绍甲流之所以这么严重有这些原因导致的。一、疫情完全放开后很多孩子不戴口罩了，预防流感的作用会下降。二是“免疫债”的偿还，免疫债又称免疫差距。指实施NPIs （戴口罩、保持手卫生、保持社交距离等）后人群病原体免疫刺激缺乏，易感人群增加导致群体免疫水平较疫情前下降。孩子免疫系统的发育是要有适当的病原来进行刺激的，疫情期间一直戴口罩，局部的呼吸道的免疫力是降低的，摘下口罩后会比原来更容易感染呼吸道疾病。
伴随着甲流病人数猛增,群众对于这一病症重视度也在增加，不仅有关甲流的搜索指数在增加，并且因为甲流的爆发重现了抢药高潮。
疫情期间的时候分享了如何利用python爬虫疫情数据的博客，今天我们同样的操作来获取下现在甲流感染的数据
爬取思路从以下几个方面进行分析，数据来源于：https://www.baidu.com/
1、分析网页的网络数据，取得请求头，并用python的requests包进行解析和读取。
2、分析解析出的包，进行提取和操作
3、将数据提出并存到数据库
涉及到的知识点：python的爬取，目标网站的反爬
思路差不多就是这些，因为有反爬，所以在爬取过程中错了反爬措施，基本的就是解决方案就是User-Agent 用户代理的添加和代理的使用，加上User-Agent，表明你是浏览器访问即可。有时还会检查是否带Referer信息还会检查你的Referer是否合法，一般再加上Referer。
User-Agent最好使用真实库，代理最好也是高效的，Referer的来源可以伪装成百度搜索来的。

Mozilla/4.0 (compatible; MSIE 4.0; Windows Me; Trident/4.0; SV1; .NET CLR 1.0.3705; .NET CLR 3.0.04320; msn OptimizedIE8;ZHCN)
Mozilla/4.0 (compatible; MSIE 4.0; Windows NT 5.1; Trident/4.0; Maxthon; .NET CLR 3.0.04320; msn OptimizedIE8;ZHCN)
Mozilla/4.0 (compatible; MSIE 6.0; Windows CE; PPC; 240x320) Opera 8.65 [zh-cn]
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QIHU 360EE) ; InfoPath.2; .NET CLR 2.0.50727)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Foxy/2; .NET CLR 2.0.50727; SE 2.x)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 2.0.50727; 360SE)
需要其他版本的UA库，可以找亿牛云。
爬虫如何添加UA：
        class ProxyMiddleware(object):                
            def process_request(self, request, spider):
                # 代理服务器(产品官网 www.16yun.cn)
                proxyHost = "t.16yun.cn"
                proxyPort = "31111"
                # 代理验证信息
                proxyUser = "username"
                proxyPass = "password"
                request.meta['proxy'] = "http://{0}:{1}".format(proxyHost,proxyPort)
                # 添加验证头
                encoded_user_pass = base64ify(proxyUser + ":" + proxyPass)
                request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass                    
                # 设置IP切换头(根据需求)
                tunnel = random.randint(1,10000)
                request.headers['Proxy-Tunnel'] = str(tunnel)
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.1276.73 Safari/537.36', 'Referer':'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=nike'}
response = requests.get(url=url, headers=headers)

cookie的获取

import requests    
class Crawler():
    def getCookie(self):
        response = requests.get(self.url)
        cookie_value = ''
        for key,value in response.cookies.items():  
            cookie_value += key + '=' + value + ';'  
        self.headers['Cookie'] = cookie_value

到此这篇关于通过python获取甲流分布数据的文章就介绍到这了,更多相关python获取甲流分布数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • 利用Python第三方库实现预测NBA比赛结果

    利用Python第三方库实现预测NBA比赛结果

    今天给大家带来的是关于Python的相关知识,文章围绕着利用Python实现预测NBA比赛结果展开,文中有非常详细的介绍,需要的朋友可以参考下
    2021-06-06
  • python中实现控制小数点位数的方法

    python中实现控制小数点位数的方法

    今天小编就为大家分享一篇python中实现控制小数点位数的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • Python自动化办公之定时发送邮件的实现

    Python自动化办公之定时发送邮件的实现

    python中的schedule模块可以使我们方便简单的使用定时任务，即在特定的时间自动的执行一些任务的功能，本文将用这一模块实现邮件自动发送，需要的可以参考一下
    2022-05-05
  • python 如何将数据写入本地txt文本文件的实现方法

    python 如何将数据写入本地txt文本文件的实现方法

    这篇文章主要介绍了python 如何将数据写入本地txt文本文件的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-09-09
  • python实现拓扑排序的方法步骤

    python实现拓扑排序的方法步骤

    拓扑排序是对有向无环图进行排序的一种算法,本文主要介绍了python实现拓扑排序的方法步骤,具有一定的参考价值,感兴趣的可以了解一下
    2024-03-03
  • python小练习之爬鱿鱼游戏的评价生成词云

    python小练习之爬鱿鱼游戏的评价生成词云

    读万卷书不如行万里路，只学书上的理论是远远不够的，只有在实战中才能获得能力的提升，本篇文章手把手带你用Python爬取热火的鱿鱼游戏评价,大家可以在过程中查缺补漏，提升水平
    2021-10-10
  • Python的Urllib库的基本使用教程

    Python的Urllib库的基本使用教程

    这篇文章主要介绍了Python的Urllib库的基本使用教程,是用Python编写爬虫的必备知识,需要的朋友可以参考下
    2015-04-04
  • Python 实现淘宝秒杀的示例代码

    Python 实现淘宝秒杀的示例代码

    本篇文章主要介绍了Python 实现淘宝秒杀的示例代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2018-01-01
  • python接口自动化测试数据和代码分离解析

    python接口自动化测试数据和代码分离解析

    代码的可维护性除了代码冗余之外还有就是数据尽量不要和代码掺杂在一起，因为阅读起来会非常的凌乱；数据分离能更好的增加代码可读性和可维护性，也能更好的二次修改使用
    2021-09-09
  • TensorFlow卷积神经网络之使用训练好的模型识别猫狗图片

    TensorFlow卷积神经网络之使用训练好的模型识别猫狗图片

    今天小编就为大家分享一篇关于TensorFlow卷积神经网络之使用训练好的模型识别猫狗图片，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
    2019-03-03

最新评论