Python3爬虫使用Fidder实现APP爬取示例
更新时间：2018年11月27日 15:17:55 作者：TM0831
这篇文章主要介绍了Python3爬虫使用Fidder实现APP爬取示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
之前爬取都是网页上的数据，今天要来说一下怎么借助Fidder来爬取手机APP上的数据。
一、环境配置
1、Fidder的安装和配置
没有安装Fidder软件的可以进入 这个网址 下载，然后就是傻瓜式的安装，安装步骤很简单。在安装完成后，打开软件，进行如下设置：
这里使用默认的8888端口就好了，如果要修改的话，要避免和其他端口冲突。
2、手机的配置
首先打开cmd，输入ipconfig查看IP地址，记录下这个IP地址：
想要使用FIdder进行手机抓包，要让手机和PC处在同一个内网中，方法就是连接同一个无线网络。然后打开手机，进入Wi-FI设置修改代理为手动代理，再把上面的IP地址和8888端口号输入进去：
然后打开浏览器，输入http://127.0.0.1:8888，会看到如下界面，点击FidderRoot certificate下载证书：
下载好之后如果出现无法安装的情况，可以进入设置进行手动安装证书，我的安装步骤是“设置->系统安全->从SD卡安装”，不同的手机安装步骤不同，不过也差不多吧。
3、抓包测试
在完成上面的步骤之后，我们先进行一下抓包测试，打开手机的浏览器，然后打开百度的网页，可以看到出现了对应的包，这样就可以进行之后的抓取了。
二、抓取步骤
这次使用的APP是王者荣耀盒子，打开APP，点击英雄，可以看到第一个英雄-上官婉儿，然后点进去。
然后在Fidder中可以找到如下这个包：
然后在右侧可以看到如下信息：
把这些信息复制一下，然后解码一下就可以看到如下数据了，包括英雄名字、英雄图片、英雄技能等信息：
但是在推荐装备的信息里，只有装备的id值，却没有装备的名字，那我们要怎么获得这些装备的名字呢？还是同样的办法，点击查看所有装备，然后抓包，找到对应的包，再进行爬取。在获得所有的装备和对应的id后，可以再爬取所有的英雄名称，然后就可以制作我们自己的英雄攻略了==
运行结果如下：
三、完整代码
"""
Version: Python3.5
Author: OniOn
Time: 2018/11/26 21:20
"""
import requests
# 装备信息
EQUIP_LIST = []
# 英雄信息
HERO_LIST = []
# 爬取英雄信息
def get_hero(hero_id):
url = "http://gamehelper.gm825.com/wzry/hero/detail?hero_id={}&channel_id=90009a&app_id=h9044j&game_id=7622&game_name=%E7%8E%8B%E8%80%85%E8%8D%A3%E8%80%80&vcode=13.0.4.0&version_code=13040&cuid=192384A3D29A295307CA7B96762D3911&ovr=6.0.1&device=Xiaomi_Redmi+4X&net_type=1&client_id=&info_ms=&info_ma=Z6OSFnQs6mXn4axI72A6yENV6NHXHBW%2FwZ6YjXKCGko%3D&mno=0&info_la=zdisjKfT0Zj1UXN2un%2BlyA%3D%3D&info_ci=zdisjKfT0Zj1UXN2un%2BlyA%3D%3D&mcc=0&clientversion=13.0.4.0&bssid=bFL4zw1N%2FGL43totbQy7Q9D8UfrPgiMUFRNSpM25pnY%3D&os_level=23&os_id=a2aa922677827ab1&resolution=720_1280&dpi=320&client_ip=10.12.88.95&pdunid=257ed0277cf4".format(
hero_id)
res = requests.post(url)
js = res.json()
img_url = js['info']['big_img']
skill_tips = js['info']['skill_tips'] # 使用技巧
skill_list = [] # 技能介绍
for i in js['info']['skill_list']:
desc = i['description'] if '<br>' not in i['description'] else i['description'].replace('<br>', '')
skill_list.append({
"name": i['name'] + "({})".format(i['intro']),
"type": i['tags'],
"desc": desc
})
print("英雄图片链接：{}".format(img_url))
print("英雄使用技巧：{}".format(skill_tips))
for i in skill_list:
print('{} 类型：{} \n技能介绍：{}'.format(i['name'], i['type'], i['desc']))
print("推荐装备：", end="")
equip_choice = [] # 推荐装备
all_money =
for i in js['info']['equip_choice'][]['list']:
equip_choice.append(EQUIP_LIST[int(i['equip_id'])]['name'])
all_money += int(EQUIP_LIST[int(i['equip_id'])]['price'])
print(' '.join(equip_choice), " (装备总金额：{})".format(all_money))
# 爬取所有装备的基本信息
def get_all_equip():
url = "http://gamehelper.gm825.com/wzry/equip/list?channel_id=90009a&app_id=h9044j&game_id=7622&game_name=%E7%8E%8B%E8%80%85%E8%8D%A3%E8%80%80&vcode=13.0.4.0&version_code=13040&cuid=192384A3D29A295307CA7B96762D3911&ovr=6.0.1&device=Xiaomi_Redmi+4X&net_type=1&client_id=&info_ms=&info_ma=Z6OSFnQs6mXn4axI72A6yENV6NHXHBW%2FwZ6YjXKCGko%3D&mno=0&info_la=zdisjKfT0Zj1UXN2un%2BlyA%3D%3D&info_ci=zdisjKfT0Zj1UXN2un%2BlyA%3D%3D&mcc=0&clientversion=13.0.4.0&bssid=bFL4zw1N%2FGL43totbQy7Q9D8UfrPgiMUFRNSpM25pnY%3D&os_level=23&os_id=a2aa922677827ab1&resolution=720_1280&dpi=320&client_ip=10.12.88.95&pdunid=257ed0277cf4"
res = requests.get(url)
for i in res.json()['list']:
EQUIP_LIST.append({
'price': i['price'],
'name': i['name'],
# 'equip_id': i['equip_id']
})
# 爬取所有英雄的基本信息
def get_all_hero():
# 英雄定位: type 1-战士 2-法师 3-坦克 4-刺客 5-射手 6-辅助
type_list = ['战士', '法师', '坦克', '刺客', '射手', '辅助']
url = "http://gamehelper.gm825.com/wzry/hero/list?channel_id=90009a&app_id=h9044j&game_id=7622&game_name=%E7%8E%8B%E8%80%85%E8%8D%A3%E8%80%80&vcode=13.0.4.0&version_code=13040&cuid=192384A3D29A295307CA7B96762D3911&ovr=6.0.1&device=Xiaomi_Redmi+4X&net_type=1&client_id=&info_ms=&info_ma=Z6OSFnQs6mXn4axI72A6yENV6NHXHBW%2FwZ6YjXKCGko%3D&mno=0&info_la=zdisjKfT0Zj1UXN2un%2BlyA%3D%3D&info_ci=zdisjKfT0Zj1UXN2un%2BlyA%3D%3D&mcc=0&clientversion=13.0.4.0&bssid=bFL4zw1N%2FGL43totbQy7Q9D8UfrPgiMUFRNSpM25pnY%3D&os_level=23&os_id=a2aa922677827ab1&resolution=720_1280&dpi=320&client_ip=10.12.88.95&pdunid=257ed0277cf4"
res = requests.get(url)
for i in res.json()['list']:
HERO_LIST.append({
"name": i['name'],
"id": i['hero_id'],
'type': '/'.join([type_list[int(j) - ] for j in i['type']])
})
if __name__ == '__main__':
get_all_hero()
length = len(HERO_LIST)
print("-" * 50)
for i in range(0, length // 5 * 5, 5):
print('{}(id:{}) '.format(HERO_LIST[i]['name'], HERO_LIST[i]['id']), end=' ')
print('{}(id:{}) '.format(HERO_LIST[i + 1]['name'], HERO_LIST[i + 1]['id']), end=' ')
print('{}(id:{}) '.format(HERO_LIST[i + 2]['name'], HERO_LIST[i + 2]['id']), end=' ')
print('{}(id:{}) '.format(HERO_LIST[i + 3]['name'], HERO_LIST[i + 3]['id']), end=' ')
print('{}(id:{}) '.format(HERO_LIST[i + 4]['name'], HERO_LIST[i + 4]['id']))
for i in range(length // 5 * 5, length):
print('{}(id:{}) '.format(HERO_LIST[i]['name'], HERO_LIST[i]['id']), end=' ')
print('\n', "-" * 50)
get_all_equip()
get_hero(input("\n请输入您想查看的英雄id："))
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要为大家介绍了使用Python对零售商品进行数据分析详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
这篇文章主要介绍了python实现图像识别的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-03-03
今天小编就为大家分享一篇python判断一个数是否能被另一个整数整除的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
这篇文章主要通过几个案例为大家详细介绍一下在Python中执行py文件是否需要可执行权限，文中的示例代码讲解详细，对我们学习Python有一定帮助，需要的可以了解一下2023-03-03
定时任务是编程中常见的需求,它可以按照预定的时间表执行特定的任务或操作,在Python中,有多种方法可以实现定时任务,下面小编就来和大家详细讲讲吧2023-11-11
Python中Scrapy+adbapi提高数据库写入效率实现
本文主要介绍了Python中Scrapy+adbapi提高数据库写入效率实现，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-10-10
python函数enumerate,operator和Counter使用技巧实例小结
这篇文章主要介绍了python函数enumerate,operator和Counter使用技巧,结合实例形式总结分析了python内置函数enumerate,operator和Counter基本功能、原理、用法及操作注意事项,需要的朋友可以参考下2020-02-02
这篇文章主要介绍了 Python闭包之返回函数的函数用法示例,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-01-01
这篇文章主要介绍了python读取mat文件生成h5文件的实现方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-07-07
这篇文章主要介绍了用Python简陋模拟n阶魔方,文中有非常详细的代码示例,对正在学习python的小伙伴呢有一定的帮助,需要的朋友可以参考下2021-04-04
最新评论