python实现爱奇艺登陆密码RSA加密的方法示例详解

 更新时间:2020年05月27日 08:45:34   作者:其实还好啦  
这篇文章主要介绍了python实现爱奇艺登陆的密码RSA加密的方法,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

前言

通过Python实现对大麦网近期全国演唱会数据进行爬取,通过分析,我们发现大麦网属于Python爬虫策略中“中等型”难度网站,演唱会数据封装在json文件中。因此,我们简单的通过requests、json就可以将数据爬取出来,后期通过pandas进行数据筛选并保存至Excel文件中。

1.目标网站分析

检查一下看xhr中有没有我们需要的数据。

很好,就在xhr中用json封装了数据。

2.构造相应的Request URL

request url中只有一个参数变化,那就是“Page=”这个选项变了,简单了😄,一共6页,直接循环构造了。

for i in range(1,7):
 url=f'https://search.damai.cn/searchajax.html?keyword=&cty=&ctl=%E6%BC%94%E5%94%B1%E4%BC%9A&sctl=&tsg=0&st=&et=&order=1&pageSize=30&currPage={i}&tn='
# print(url)

3.requests爬虫走起

直接上代码:

def crawl(url): 
 headers={
 'cookie': 'cna=J7K2Fok5AXECARu7QWn6+cxu; isg=BCcnDiP-NfKV5bF-OctWuXuatl3xrPuOyBVJJfmQLrZn6ESqAX0y3jrhCuj2ANMG; l=eBSmWoPRQeT6Zn3iBO5whurza77O1CAf1sPzaNbMiIncC6BR1AvOCJxQLtyCvptRR8XcGLLB4nU7C5eTae7_7CDmndLHuI50MbkyCef..',
 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
 }
 response=requests.get(url,headers=headers)
 json_text=json.loads(response.text)
 # print(json_text.keys())
 rdata=json_text['pageData']['resultData']
 # print(rdata)
 return(rdata)

加一个headers,简单做一个防反爬。

4.保存至excel文件

基本思路是将每页数据保存成pandas的DataFrame结构,然后进行拼接,拼接完后再保存到Excel文件中。

inidata=pd.DataFrame(columns=('name','actors','cityname','showtime','price_str','venue','venuecity','verticalPic'))
for i in range(1,7):
 url=f'https://search.damai.cn/searchajax.html?keyword=&cty=&ctl=%E6%BC%94%E5%94%B1%E4%BC%9A&sctl=&tsg=0&st=&et=&order=1&pageSize=30&currPage={i}&tn='
 # print(url)
 # print(crawl(url))
 data=pd.DataFrame(crawl(url))
 data1=data[['name','actors','cityname','showtime','price_str','venue','venuecity','verticalPic']]
 inidata=inidata.append(data1)
# print(inidata)
inidata.to_excel('大麦网演唱会.xlsx',index=0)

5.看看效果

总结

到此这篇关于python实现爱奇艺登陆的密码RSA加密的文章就介绍到这了,更多相关python实现爱奇艺登陆的密码RSA加密内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 一文详细介绍Python中的OrderedDict对象

    一文详细介绍Python中的OrderedDict对象

    OrderedDict是Python标准库collections模块的一部分,下面这篇文章主要给大家介绍了关于Python中OrderedDict对象的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2024-08-08
  • 解读requests.session()获取Cookies全过程

    解读requests.session()获取Cookies全过程

    这篇文章主要介绍了解读requests.session()获取Cookies全过程,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-02-02
  • 使用Ray集群简单创建Python分布式应用程序

    使用Ray集群简单创建Python分布式应用程序

    面对计算密集型的任务,除了多进程,就是分布式计算,如何用 Python 实现分布式计算呢?今天分享一个很简单的方法,那就是借助于 Ray
    2021-09-09
  • Pytorch精准记录函数运行时间的方法

    Pytorch精准记录函数运行时间的方法

    参考Pytorch官方文档对CUDA的描述,GPU的运算是异步执行的,一般来说,异步计算的效果对于调用者来说是不可见的,异步计算的后果是,没有同步的时间测量是不准确的,所以本文给大家介绍了Pytorch如何精准记录函数运行时间,需要的朋友可以参考下
    2024-11-11
  • Python列表1~n输出步长为3的分组实例

    Python列表1~n输出步长为3的分组实例

    这篇文章主要介绍了Python列表1~n输出步长为3的分组实例,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-05-05
  • 解决python3读取Python2存储的pickle文件问题

    解决python3读取Python2存储的pickle文件问题

    今天小编就为大家分享一篇解决python3读取Python2存储的pickle文件问题,具有很好的参考价值。希望对大家有所帮助。一起跟随小编过来看看吧
    2018-10-10
  • Python实现Word文档转换Markdown的示例

    Python实现Word文档转换Markdown的示例

    这篇文章主要介绍了Python实现Word文档转换Markdown的示例,帮助大家更好的理解和使用python,感兴趣的朋友可以了解下
    2020-12-12
  • Python Pygame中精灵和碰撞检测详解

    Python Pygame中精灵和碰撞检测详解

    对于游戏中出现的每一样东西,比如砖块箱子水管地面,还有人物都可以看成是一个独立的物体,所以每个物体类都继承了pygame的精灵类pg.sprite.Sprite,这篇文章主要给大家介绍了关于Python Pygame中精灵和碰撞检测的相关资料,需要的朋友可以参考下
    2021-10-10
  • Python基于PyGraphics包实现图片截取功能的方法

    Python基于PyGraphics包实现图片截取功能的方法

    这篇文章主要介绍了Python基于PyGraphics包实现图片截取功能的方法,涉及PyGraphics包的安装及基于PyGraphics包实现图片的打开、读取、截取等相关操作技巧,需要的朋友可以参考下
    2017-12-12
  • Python如何实现小程序 无限求和平均

    Python如何实现小程序 无限求和平均

    这篇文章主要介绍了python如何实现小程序 无限求和平均,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-02-02

最新评论