python实现爱奇艺登陆密码RSA加密的方法示例详解
前言
通过Python实现对大麦网近期全国演唱会数据进行爬取,通过分析,我们发现大麦网属于Python爬虫策略中“中等型”难度网站,演唱会数据封装在json文件中。因此,我们简单的通过requests、json就可以将数据爬取出来,后期通过pandas进行数据筛选并保存至Excel文件中。
1.目标网站分析

检查一下看xhr中有没有我们需要的数据。


很好,就在xhr中用json封装了数据。
2.构造相应的Request URL


request url中只有一个参数变化,那就是“Page=”这个选项变了,简单了😄,一共6页,直接循环构造了。

for i in range(1,7):
url=f'https://search.damai.cn/searchajax.html?keyword=&cty=&ctl=%E6%BC%94%E5%94%B1%E4%BC%9A&sctl=&tsg=0&st=&et=&order=1&pageSize=30&currPage={i}&tn='
# print(url)
3.requests爬虫走起
直接上代码:
def crawl(url):
headers={
'cookie': 'cna=J7K2Fok5AXECARu7QWn6+cxu; isg=BCcnDiP-NfKV5bF-OctWuXuatl3xrPuOyBVJJfmQLrZn6ESqAX0y3jrhCuj2ANMG; l=eBSmWoPRQeT6Zn3iBO5whurza77O1CAf1sPzaNbMiIncC6BR1AvOCJxQLtyCvptRR8XcGLLB4nU7C5eTae7_7CDmndLHuI50MbkyCef..',
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response=requests.get(url,headers=headers)
json_text=json.loads(response.text)
# print(json_text.keys())
rdata=json_text['pageData']['resultData']
# print(rdata)
return(rdata)
加一个headers,简单做一个防反爬。
4.保存至excel文件
基本思路是将每页数据保存成pandas的DataFrame结构,然后进行拼接,拼接完后再保存到Excel文件中。
inidata=pd.DataFrame(columns=('name','actors','cityname','showtime','price_str','venue','venuecity','verticalPic'))
for i in range(1,7):
url=f'https://search.damai.cn/searchajax.html?keyword=&cty=&ctl=%E6%BC%94%E5%94%B1%E4%BC%9A&sctl=&tsg=0&st=&et=&order=1&pageSize=30&currPage={i}&tn='
# print(url)
# print(crawl(url))
data=pd.DataFrame(crawl(url))
data1=data[['name','actors','cityname','showtime','price_str','venue','venuecity','verticalPic']]
inidata=inidata.append(data1)
# print(inidata)
inidata.to_excel('大麦网演唱会.xlsx',index=0)
5.看看效果

总结
到此这篇关于python实现爱奇艺登陆的密码RSA加密的文章就介绍到这了,更多相关python实现爱奇艺登陆的密码RSA加密内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
- python rsa-oaep加密的示例代码
- Python实现常见的几种加密算法(MD5,SHA-1,HMAC,DES/AES,RSA和ECC)
- Python3加密解密库Crypto的RSA加解密和签名/验签实现方法实例
- Python如何基于rsa模块实现非对称加密与解密
- python使用rsa非对称加密过程解析
- Python3.7 基于 pycryptodome 的AES加密解密、RSA加密解密、加签验签
- python中的RSA加密与解密实例解析
- python rsa实现数据加密和解密、签名加密和验签功能
- Python3非对称加密算法RSA实例详解
- Python实现的rsa加密算法详解
- python RSA加密的示例
相关文章
解读requests.session()获取Cookies全过程
这篇文章主要介绍了解读requests.session()获取Cookies全过程,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教2023-02-02
解决python3读取Python2存储的pickle文件问题
今天小编就为大家分享一篇解决python3读取Python2存储的pickle文件问题,具有很好的参考价值。希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10
Python基于PyGraphics包实现图片截取功能的方法
这篇文章主要介绍了Python基于PyGraphics包实现图片截取功能的方法,涉及PyGraphics包的安装及基于PyGraphics包实现图片的打开、读取、截取等相关操作技巧,需要的朋友可以参考下2017-12-12


最新评论